Die Herren von Erffa wurden 1170 als Lehensträger des Klosters Fulda ausgewiesen und waren später Dienstmannen der Landgrafen von Thüringen. Die alte Wasserburg besaß die Grundrissform eines verschobenen Vierecks und war von heute noch erhaltenen Wallgräben umgeben. Die Burg besaß drei Türme, wobei ein viergeschossiger Turm vermutlich der Bergfried war. In der Kemenate der Kernburg befand sich die Burgkapelle St. Georg. Das heutige Schloss ist ein Dreiflügelbau des Baumeisters Jeremias Tütleb. Der Hauptbau (Ostflügel) mit Mittelrisalit wird von einem kuppelförmigen Turm gekrönt.Kinderkurheim, Jugendwerkhof (bis ca. 1990)