Замок в середине XVI века на средства герцога Матаса Гедрайтиса и его сына Мартинаса Гедрайтиса построили мастера, приглашённые из Швеции. Замок, называемый Каменные Видянишкяй, входил в состав средней части оборонительной системы Литвы и служил защитой старой дороги Вильнюс – Рига. В начале XVII века был построен нарядный дворец, создан сад в стиле ренессанса. Во дворце находился так называемый золотой зал и казначейство. Замок Балтадвариса является уникальным примером деревянной и каменной военной архитектуры, в котором соединены две технологии и стиля: Литовский и Шведский.