Die aus drei Flügeln bestehende runde Anlage war ursprünglich eine Wasserburg. Im Süden und Westen war die Anlage vom heute trockengelegten Schlossweiher sowie vom Kösseinebach umflossen. Die Grundmauern des Schlosses gehören noch dem 13.Jh. an. Die ursprünglichen Besitzer der Burganlage waren wohl die Herren von Waltershoven. Zu den weiteren Besitzern gehörten auch die Landgrafen von Leuchtenberg und die Herren von Hirschenberg.

Das Schloss war von 1263-1802 Sitz des stiftischen Amtsrichters.