Die Geschichte des Dorfes reicht bis ins 10. Jahrhundert zurück, als es als "Vitte" (ein Ort zum Fischverkauf und zur -verarbeitung) der nahen Jaromarsburg diente. Die achteckige Vitter Kapelle, die etwas oberhalb des Dorfes auf der Klippe steht, wurde 1816 nach einem Entwurf von Karl Friedrich Schinkel erbaut. Sie wurde errichtet, damit die Fischer aus Vitt ihre Gottesdienste und Hochzeiten vor Ort abhalten konnten und nicht den weiten Weg zur Kirche in Altenkirchen auf sich nehmen mussten.
Heute leben in Vitt nur noch wenige Menschen, hauptsächlich vom Tourismus und der Fischerei. In der Saison bieten kleine Imbisse frisch gefangenen und geräucherten Fisch an, der direkt am kleinen Hafen genossen werden kann. Ein Spaziergang durch das winzige Dorf fühlt sich an wie eine Zeitreise. Der Blick vom Hochuferweg hinunter auf die reetgedeckten Dächer von Vitt ist eines der beliebtesten Fotomotive der Insel Rügen.
