Kavalerbygningen ligger i den nordlige del af slotskomplekset. Den blev opført i 1807, da den oprindelige gartnerbolig på stedet var blevet for lille. Gartnerboligen var en beskeden bindingsværksbygning, der var beboet af slotsgartneren, dennes familie og to gartnerelever.

Den nye bygning på stedet blev opført til hoffets forskellige embedsmænd, de såkaldte ”kavalerer”, herunder hofpræst Germar. Når kavalererne blev gift og stiftede familie, måtte de ikke længere bo på slottet. De fleste fandt sig så et hus i byen.

Bygningen har bl.a. fungeret som gæstefløj for slottet. Da H.C. Andersen besøgte hertugfamilien i 1844, blev han indkvarteret i Kavalerbygningen, og hertugens øvrige gæster, såsom digteren Adam Oehlenschläger og Jens Baggesen, har sikkert også haft værelser her.

Huset er tegnet af den lokale bygmester Jørgen Christian Bleshøy, som var elev af den kendte arkitekt C. F. Hansen fra Altona. Bygherren var hertug Frederik Christian 2., der sikkert har ønsket sig en præsentabel og rummelig bygning ved indkørslen til slottet.

Bygningen er opført i nyklassicistisk stil. Denne stil, der finder sin inspiration i antikken, kommer bl.a. til udtryk i den lille tempelfront og de fire kannelerede pilastre ved indgangspartiet. Den tresidede granittrappe fremhæver den nyklassicistiske stil.

Det afvalmede tag med sortglaserede tegl, den profilerede gesims og den store bygningskrop i to etager, understreger, at der er tale om en statelig bygning i bedste C. F. Hansen-stil. Facaden er udsmykket med hvide, kvadrede liséner over en sokkel med buede kældervinduer, som giver lys til en høj kælder med hvælvinger.

Da bygningen hørte ind under statshospitalet fungerede den som embedsbolig for hospitalsinspektøren.

I dag er bygningen administrationsbygning for Landsbrugsstyrelsen. Der er ikke offentlig adgang til bygningen, men den kan besigtiges udefra hele vejen rundt.