Zamek w XVI w. został zbudowany przez zaproszonych mistrzów ze Szwecji na koszt księcia Mateusza Giedrojcia i jego syna Marcina. Zamek zwany Kamiennymi Widziniszkami wchodził do systemu obronnego środkowej części Litwy i chronił starą drogę Wilno-Ryga. W XVII w. wzniesiono elegancki pałac dworski i założono renesansowy ogród. W pałacu znajdowała się tzw. złota sala i skarbiec. Zamek w Białym Dworze to wyjątkowy przykład architektury drewnianej i kamiennej, która łączy dwa style i technologie - litewską i szwedzką.
