I den vestlige ende af Storegade, lige før det skarpe sving, kaldet ”hestevognssvinget”, ligger dette mellemstore hertughus. Det er opført af pensioneret herredsfoged og hofråd Friedrich Wilmerding (1751-1821), der var ugift, men boede i huset med en husbestyrerinde.

Grundhuset er fra sidst i 1700-tallet, men er blevet forandret flere gange. En afrensning af facaden i 2016 viste spor af fladbuede stik over husets vinduer og en dobbelt-S-bue over hoveddøren. Der var desuden spor efter tre oprindelige vinduer i gavlkvisten. Huset fremstår i dag som et 1800-tals hus, men sporene viser, at det formentligt har været opført i rokokostil.

I 1851 blev huset overtaget af slagtermester Peter Svendsen (1820-1896), der var tilflytter fra Helsingør. Han havde en god forretning og byggede et slagteri i den store have bag huset. Efter hans død blev slagteriområdet solgt fra og udstykket til de nuværende huse Osbækvej 1 og 3.

Tilbygningen med fladt tag blev opført af husets næste ejer Asmus Nielsen, kaldet Manni, der drev Slotskiosken fra 1958 til 1975. Manni var meget aktiv i brandværnet, hvor han var første sprøjtefører. Der findes en sjov satiretegning om ham kaldet ”Venn det brænde i Gustenborre”, hvor Manni hører brandsirenen, men ikke kan finde branden. Det viser sig, at urostifteren er en gammel Opel, hvori hornet var kortsluttet. ”Sirenen” var parkeret på Jægerpladsen ved Mannis hus!

Kiosken var godt besøgt af patienter og personale fra det psykiatriske hospital på slottet, men blev også brugt af mange lokale og unge mennesker på vej til Badehusene om sommeren.

I dag huser tilbygningen Atelier Fredensborg ved fotograf Hanne Fredensborg.

Følger man vejen rundt i svinget mod vest kommer man til Palævej, hvor bl.a. Hofpræstens hus og Augustiana ligger.