Die spätmittelalterliche Karlburg hatte mehrere Vorgängeranlagen (karolingisch, ottonisch, salisch/staufisch). Die heutige Anlage ist gegenüber den Vorgängeranlagen wesentlich kleiner und beschränkt sich auf den sö Spornbereich. Von der Burg sind noch Reste romanischer Bauteile (vor allem der Ringmauer) und des gotischen Palas erhalten. Der runde Bergfried befand sich im Westen der Anlage neben dem Tor.
Erhalten: Umfassungsmauern