Die langgestreckte Anlage der Schwarzburg war ursprünglich mit Gräben, Wällen, Mauern und fünf Wehrtürmen stark befestigt. Von der alten Burg blieben Umfassungsmauern, das Zeughaus mit zwei Rundtürmen und einzelne Mauerreste erhalten. Nach 1726 wurde ein weitläufiger Neubau errichtet. Es entstand ein langgestreckter Hauptflügel, ein Querflügel sowie die Schlosskapelle mit Glockenturm. Neben der Kirche befand sich das „Leutenberger Geäude“, welches die Verbindung zum Kaisersaal herstellte. Das Gartenhaus mit dem Kaisersaal im Obergeschoss befindet sich im Süden der Anlage. Ursprünglich war das Gebäude dreiteilig, da der fünfachsige Mittelpavillon von zwei niedrigeren Seitenflügeln flankiert wurde. Der westliche Seitenflügel wurde jedoch bereits 1776 abgebrochen.
Lithographie um 1860
Schwarzburg vor 1900
Kaisersaal