Das Barock-Schloss wurde über dem Areal des säkularisierten Klosters (12. Jh.) "Porta Apostolorum" (= "Tor der Apostel", davon der dt. Name "Postelberg", wohl urspr. "Apostelberg") erbaut unter der Familie von Schwarzenberg, die seit 1692 im Besitz der Liegenschaft war. Aus diesem Postelberg der Barockzeit (um 1740) stammt übrigens der Urgroßvater von Karl Marx her, ein Jude namens Samuel Halevi Mardechai (darin enthalten "Marduk", der Hauptgott von Babylon im 3. Jt. v. Chr.; später in Trier zu "Marx" verkürzt).