Dieses kleine Herzoghaus von nur 93 Quadratmetern wurde wahrscheinlich von dem Sattler Peter Petersen erbaut, der 1760 eine Urkunde über das Haus erhielt, das damals Hausbrief genannt wurde. Eine der ersten Bewohnerinnen des Hauses war die Witwe des Perückenmachers Wohnfylt, Christina.
1795 wurde das Haus von dem pensionierten Kammerdiener und Chirurgen Heinrich Ernst Bergmann gekauft, nach dem das Haus benannt ist. Chirurg war kein geschützter Titel, also durfte sich jeder, der wusste, wie man Menschen operiert, Chirurg nennen. 1814 verkaufte Bergmanns Frau, die ihren Mann überlebte, das Haus an den Gerichtsschreiber A. Timmermann, allerdings unter der Bedingung, dass sie bis zu ihrem Tod „Wohnrecht“ hatte.
1876 kaufte der Färbermeister Heinrich Jacob Christian Børresen das Haus und richtete ein kleines Geschäft ein. Rechts von der Eingangstür wurde ein Schaufenster eingebaut. Kunden aus der Stadt und der Umgebung kamen in das Geschäft, um ihre Kleidung und ihr Garn färben zu lassen. Seine Frau Ida und ihre drei Töchter stellten Stoffdrucke her, die sie zusammen mit Stoffen und Kleidern verkauften.
1878 wurde im Schloss ein Frauenseminar eingerichtet. Das bedeutete eine größere Nachfrage nach Papier und Büchern, die die Familie zunächst im Auftrag von „la Motte“ in Sonderburg, mit der sie verwandt war, erhielt.
Als Herr Børresen 1897 starb, übernahm seine Frau das Geschäft. Die älteste Tochter Else wurde in der Küche des Frauenseminars ausgebildet, und die beiden anderen Töchter wurden Lehrerinnen. Else arbeitete als Hausangestellte im Süden, kam aber nach Hause und half im Laden.
1919 wurde das Seminar nach Kiel verlegt, aber der zunehmende Verkauf von Schreibwaren sowie von Zeitschriften und Wochenblättern kompensierte den Ausfall des Geschäftes mit dem Frauenseminar. Das Geschäft diente nun als Buchhandlung, und nach dem Tod ihrer Mutter 1931 führte Else das Geschäft weiter. Else starb 1969, kurz bevor sie 98 Jahre alt geworden wäre!
Heute wird das Haus auch „Haus des Buchhändlers“ genannt, nach dem Buch- und Papierladen von Frau Børresen, der fast 100 Jahre lang bestand.
Seitdem haben verschiedene Eigentümer versucht, das Haus zu restaurieren. Es hat ein neues Dach, neue Fenster und eine neue Eingangstür bekommen, aber die Renovierung wurde nie vollendet.
2007 führte das Museum Haderslev eine Ausgrabung im Inneren des Hauses durch. Sie wurden vom Eigentümer hinzugezogen, der bei der Innenrenovierung Fundamentreste gefunden hatte. Es stellte sich heraus, dass sich auf dem Grundstück früher ein größerer Bauernhof mit Fachwerk und Strohdach befunden hatte. Das ehemalige Haus befand sich wahrscheinlich an der Seitenstraße Bagergyde (Bäckergasse).
Am Ende von Bagergyde liegt ein schönes Haus mit einer interessanten Geschichte, die Sie auch im Guide hören können.