Pilį XVI a. viduryje pastatė kviestiniai meistrai iš Švedijos, kunigaikščio Mato Giedraičio ir jo sūnaus Martyno Giedraičio lėšomis. Pilis, vadinta Mūriniais Videniškiais, įėjo į Lietuvos vidurinės dalies gynybos sistemą ir saugojo senąjį Vilniaus-Rygos kelią. XVII a. buvo pastatyti puošnūs dvaro rūmai, įkurtas renesansinis sodas. Rūmuose buvo vadinama auksinė salė ir iždinė. Baltadvario pilis – unikalus karinės medžio ir akmens architektūros pavyzdys, kuriame jungiasi du stiliai ir technologijos - Lietuvos ir Švedijos.
