Die langgestreckte Anlage der Schwarzburg war ursprünglich mit Gräben, Wällen, Mauern und fünf Wehrtürmen stark befestigt. Von der alten Burg blieben Umfassungsmauern, das Zeughaus mit zwei Rundtürmen und einzelne Mauerreste erhalten. Nach 1726 wurde ein weitläufiger Neubau errichtet. Es entstand ein langgestreckter Hauptflügel, ein Querflügel sowie die Schlosskapelle mit Glockenturm. Neben der Kirche befand sich das „Leutenberger Geäude“, welches die Verbindung zum Kaisersaal herstellte. Das Gartenhaus mit dem Kaisersaal im Obergeschoss befindet sich im Süden der Anlage. Ursprünglich war das Gebäude dreiteilig, da der fünfachsige Mittelpavillon von zwei niedrigeren Seitenflügeln flankiert wurde. Der westliche Seitenflügel wurde jedoch bereits 1776 abgebrochen.

Wesentliche Teile des Schloss fielen einem unsachgemäßen und unvollendeten Umbauversuch während des Zweiten Weltkrieges zum Opfer. Der Kaisersaal erhielt seinen Namen durch 48 auf Leinwandgemälden und Medaillons verewigten Abbildungen römischer, byzantinischer und deutscher Kaiser.