Von der ursprünglichen Burganlage blieben nur in Gebäude und im Bering verbaute Mauerreste erhalten.Die Besitzer der Burg (Graf Berengar von Kastl-Sulzbach, Friedrich von Kastl-Habsberg, dessen Sohn Otto und Gräfin Luitgard von Zähringen) sollen sich 1098 darauf geeinigt haben, die Burg in ein Kloster umzuwandeln.