An der Stelle der Burg befand sich vermutlich ein karolingischer Königshof und später ein kleines, befestigtes Kloster. Die Burg war ein Eckpunkt der Stadtbefestigung und direkt in diese einbezogen. Trotz vieler An- und Umbauten im Laufe der Jahrhunderte ist die ursprüngliche Anlage mit Ringmauer, Palas und Wohnturm noch gut erkennbar, so ist die Ringmauer mit Zinnen noch fast vollständig erhalten. Der Palas an der SW-Ecke der Anlage besitzt vermauerte Reste romanischer Doppel- bzw. Mehrfacharkadenfenster. In der Mitte der Südseite befindet sich ein wohnturmartiger Saalbau mit ca. 9 x 11 m Grundfläche. Das „Gelbe Haus“ ist ein schlichter Renaissancebau mit Fachwerkobergeschoss.
