Die aus drei Flügeln bestehende annähernd runde Anlage war ursprünglich eine Wasserburg. Im Süden und Westen war die Anlage vom heute trockengelegten Schlossweiher sowie vom Kösseinebach umflossen. Die Grundmauern des Schlosses gehören noch dem 13.Jh. an. Die ursprünglichen Besitzer der Burganlage waren wohl die Herren von Waltershoven. Zu den weiteren Besitzern gehörten auch die Landgrafen von Leuchtenberg und die Herren von Hirschenberg.