Ved fjordbredden syd for slottet lå færgestedet. Her kunne man blive sejlet over fjorden, når ”skibsbroen” ved den nuværende dæmningen var for usikker. Færgestedet har formentligt eksisteret siden byens start.

Lige bag færgestedet, på det flade stykke, hvor der i dag står et lille æbletræ, lå færgemandens hus. Den første færgemand hed Jørgensen, og hans efterfølger hed Paulsen. Sidstnævnte var murer og boede med kone, barn og svigermor et sted i øvre Storegade. Når færgemanden var travlt beskæftiget med andre opgaver, var det angiveligt konen som klarede færgedriften.

Færgen sejlede direkte over fjorden, godt 200 meter, og lagde til et sted i nærheden af den nuværende campingplads. Her var der en vej, som førte videre til landevejen.

Da den nye dæmning stod færdig i 1806, var der ikke længere behov for færgen.