Als Herzog Ernst Günther 1651 das Gebiet kaufte und das erste Schloss baute, kamen vornehme Gäste in die Stadt. Zunächst wurden die Gäste im Schloss untergebracht, doch irgendwann wurde der Platz knapp, so dass der Herzog ein Gästehaus als Anbau an das Schloss errichten ließ, mit Zugang über Storegade und Slotsallé.
Der erste Pächter des Gasthauses war Marcus Nielsen, ein herzoglicher Kutscher, um 1750. Sein Sohn wurde „Gestütmeister“ auf Schloss Frederiksborg, und seine Tochter heiratete Christian Friedrich Gude, der später die Pacht übernahm.
Im Laufe der Jahre hatte der Ort prominente Gäste, wie den dänischen Schriftsteller Hans Christian Andersen und General Christian Julius de Meza, Befehlshaber der dänischen Armee. Anlässlich eines Besuchs der Familie der Herzogin auf Schloss Gisselfeld erhielt die Küche eine Notiz des Oberhofmeisters, in der für Montag, den 27. August 1827, ein „Abendessen für 8 Gedecke“ bestellt wurde. Das Menü bestand aus sieben Gängen mit vier verschiedenen Weinsorten, gefolgt von einem exquisiten Rum-Eis-Dessert. Dazu wurde Eis aus dem Eiskeller im Schlosspark benötigt.
Im Jahr 1835 wurde der Begriff „Gastwirt“ durch „Hotelier“ ersetzt und sein Name war Carl Wilhelm Würst. Sein Vater war Hofkonditor Georg Wilhelm Würst, den der Herzog in Berlin „handverlesen“ hatte.
Als die Familie des Herzogs 1848 floh, übernahm der dänische Staat die Besitztümer des Herzogs und damit auch das Gasthaus. In 1854 verkaufte der Staat diese Besitztümer, und der „Augustenborg Gæstgivergård“ wurde versteigert. Die Versteigerung, die in den Zeitungen des Landes angekündigt worden war, fand im Gasthaus statt.
Christian August Jørgensen erhielt den Zuschlag und änderte den Namen in „Augustenborg Hotel“. Er baute einen Saal und erweiterte das Hotel, das sich nun in Privatbesitz befand. Als Jørgensens Tochter Jens Peter Christensen Frost heiratete, wurde das Hotel in „Frost’s Hotel“ umbenannt.
1927 war das Hotel im Besitz von Louise Marie Frost, die mit dem Bürgermeister Hans Peter Zimmermann verheiratet war. Sie änderte den Namen in das „Slotshotellet“ (Schlosshotel) und betrieb es bis 1960.
Bis die Stadt 1936 ein eigenes Gemeinschaftshaus bekam, verfügte das Hotel über die einzige Bühne der Stadt und war das Zentrum der Feste und Aktivitäten der Stadt. Es wurden Karnevals, Amateurkomödien, Revuen und Kinovorstellungen veranstaltet. Es gab Familienfeste und verschiedene Aufführungen, Ausstellungen, eine Weihnachtsbaumparty für Kinder und eine Tanzschule.
1965 war der Komplex 874 Quadratmeter groß, umfasste aber auch ein Restaurant, einen Laden, einen großen Saal mit Bühne, Privatwohnungen mit Garage, zwei Nebengebäude, eine Kegelbahn und eine Bowlingbahn.
Im Sommer konnten die Gäste den großen, schönen Garten mit Springbrunnen und Goldfischen genießen.
1987 wurde das Hotel von der Gemeinde gekauft, die der Wohnungsbaugenossenschaft Søbo die Genehmigung erteilte, Wohnungen für ältere Menschen einzurichten. Seit 1989 lautet der Name „Hofgården“.
Das Schlosshotel ist als kulturelles Erbe seit fast 300 Jahren erhaltenswert. Ein Teil des Gebäudes besteht aus sehr alten Bauelementen, die angeblich aus dem ersten Schloss Augustenburg stammen. Einige dieser alten Bauelemente sind unter der Decke des Torraums an der Storegade zu sehen.