První zmínky sahají až do pol. 13. stol. Jednou z nejdůležitějších postav historie zámku i města byl Ladislav Černohorský z Boskovic (asi 1455-1520), na rozšíření zámku se podíleli všichni majitelé rodu. Po bitvě na Bílé hoře získal majetek Karel z Lichtenštejna. Na konci dubna roku 1840 byl zámek poničený požárem, byl však opraven dle původních plánů. Zámek zůstal v držení rodu Lichtštejnů až do roku 1945.
Renesanční zámek je přístupný veřejnosti celoročně a každý návštěvník si může vybrat ze čtyř prohlídkových okruhů. Na zámku se konají svatební obřady, výstavy českých dějin s replikou daných osobností či komorní koncerty vážné hudby a různé kulturní akce.