Midt i Storegade ligger dette mellemstore hertughus fra 1770. Huset er en vigtig del af det hovedstrøg, der fører op til slottet. Selvom gavlkvisten er forsynet med lisener omkring vinduerne, er huset på ingen måde prangende, men lever en stilfærdig og lidt overset tilværelse i byen.

På grunden ligger også et mindre bindingsværkshus med tegltag. Det er opført som et såkaldt ”inderstehus” eller ”indsidderhus”, som var et udlejningshus med beboelse i den ene ende og stald i den anden. Det er formentligt bygget i midten af 1600-tallet og er dermed et af byens ældste huse – måske det ældste! Da hertugen købte landsbyen Stavnsbøl og rev husene ned for at opføre byen, fik nogle bygninger bag ved hovedgaden lov til at blive stående. Dette hus er et sjældent eksempel på et af disse baghuse.

Lejerne var ofte personer uden familie, det kunne være daglejre, håndværkere eller fiskere. De betalte hverken skat eller leje, men såkaldte ”forbedelsespenge” eller ”verbittelsgeld”. Det var et beskedent beløb, som forpligtede udlejer til at gå i forbøn for lejer ved retten (være dennes beskytter) og anerkende lejer som lovlig beboer og ikke omstrejfer.

I slutningen af 1700-tallet var hovedhuset beboet af Christian Ellei, som formentligt har været ansat ved hoffet, men det vides ikke i hvilken stilling. På baggrund af husets størrelse og placering må han have haft en vis status i byen. Han var muligvis beslægtet med den Elley-familie, der senere flyttede ind i huset, stavningen er dog anderledes.

I 1855 flyttede den tyske saddelmager August Heinrich Ludwig Wolff ind i huset. Han har sikkert brugt baghuset som værksted for sin forretning. Han boede der indtil sin død i 1909. I 1910 solgte arvingerne huset til Sophie Hansen, der var datter af tidligere biskop for Als og Ærø, Jørgen Hansen. Hun var enke efter byens læge Hermann Heinrich Tadey, som hun havde mødt under krigen i 1864.

I 1926 købte postbud Mads Elley og hustru Anne huset, hvor de boede sammen med hans storesøster og hendes voksne søn Hans Ernst. Sidstnævnte startede en lille el-forretning i den vestlige ende af huset. Han drev også vognmandsforretning og havde en taxa, som kørte på gasgenerator under besættelsen. Den skulle ofte skubbes i gang, og det hjalp byens børn gerne med.

Anne overlevede sin mand med 38 år og blev boende i huset til sin død i 1987, hvorefter huset blev overtaget af sønnen, plejerassistent Svend Aage Elley (1928-2016). Efter Svend Aages død satte arvingerne huset til salg, men det var ikke lige sådan at få det afsat. Måske på grund af det faldefærdige baghus, som er bevaringsværdigt og derfor ikke må rives ned. I dag bruges huset til udlejning, og den nye ejer har påbegyndt istandsættelsen af baghuset.