Die Burg ist eine zweiteilige Anlage in Basalt, Trachyt, Tuffstein und Feldsteinziegeln. Sie ist von einer nahezu quadratischen Mauer umgeben, die im Osten und Süden mit der Stadtmauer identisch ist. Die Fläche des Burgareals misst ca. 11.000 qm, was etwa einem Sechstel der Stadtfläche entspricht. Kern der Anlage ist das dreigeschossige Hochschloss in der sö Burgecke. Es wurde durch einen separaten Wassergraben zur Vorburg hin geschützt. Auffälligster Bauteil der Hauptburg ist der mächtige quadratische Torturm aus Trachyt und Tuffstein. An der Nahtstelle von West- und Nordmauer steht der runde „Juddeturm“, benannt nach der Kölner Patrizierfamilie Judde. In der Vorburg steht das sogenannte Herrenhaus, ein zweigeschossiger, neunachsiger Bau mit Gewölbekeller im Untergeschoss. Das Herrenhaus war nach dem Dreißigjährigen Krieg Sitz des Amtsmanns.
Ausschnitt aus einer Ansicht von Georg Braun und Frans Hogenberg, 1575
