Dette lille hertughus på kun 93 kvadratmeter i grundplan blev formentligt opført af sadelmager Peter Petersen, der fik husbrev (skøde) i 1760. En af husets første beboere var parykmager Wohnfylts enke, Christina.

I 1795 blev huset købt af pensioneret kammertjener og kirurg, Heinrich Ernst Bergmann, som huset er opkaldt efter. Kirurg var ikke en beskyttet titel, så alle der kunne lidt med at skære i folk måtte kalde sig kirurg. I 1814 solgte Bergmanns hustru, der overlevede sin mand, huset til retsskriver A. Timmermann, men på den betingelse, at hun havde ”boligret” til sin død.

I 1876 købte farvemester Heinrich Jacob Christian Børresen huset og indrettede en lille butik. Der blev isat et butiksvindue til højre for hoveddøren. I butikken kom der kunder fra byen og oplandet for at få tøj og garn farvet. Hans kone Ida og de tre døtre lavede stoftryk, som de solgte sammen med klæde og tøj.

I 1878 blev der startet et kvindeseminarium på slottet. Det betød større efterspørgsel efter papir og bøger, og familien fik i første omgang det i kommission fra ”la Motte” i Sønderborg, som de var i familie med.

Da hr. Børresen døde i 1897, overtog hans kone butikken. Den ældste datter Else blev uddannet i seminariets køkken, og de to andre døtre blev lærerinder. Else var i huset forskellige steder sydpå, men kom hjem og hjalp til i forretningen.

I 1919 blev seminariet flyttet til Kiel, men øget salg af papirvarer samt salg af tidsskrifter og ugeblade kompenserede for salget til seminariet. Butikken fungerede nu som boghandel, og efter moderens død i 1931, drev Else butikken videre. Else døde i 1969 kort før hun ville være blevet 98 år!

I dag kaldes huset også ”Boghandlerens hus” efter frk. Børresens bog- og papirhandel, der eksisterede i næsten 100 år.

Siden har der været forskellige ejere, der har forsøgt at sætte huset i stand. Det har bl.a. fået nyt tag, nye vinduer og ny hoveddør, men istandsættelsen blev aldrig afsluttet.

I 2007 foretog Haderslev Museum en udgravning inde i huset. De var tilkaldt af ejeren, der havde fundet fundamentrester i forbindelse med den indvendige renovering. Det viste sig, at der før havde ligget en større gård på stedet med bindingsværk og stråtag. Det tidligere hus lå formentligt langs med sidegaden Bagergyde. For enden af Bagergyde ligger der et smukt hus med en spændende historie, som du også kan høre i guiden.