Julius Echter nutzte den Nordflügel seines Juliusspitals als fürstbischöfliche Stadtresidenz. Johann Philipp von Greiffenclau baute den großen Fürstenbau, den Garten und den Rokokopavillon wie eine barocke Schlossanlage aus. Zwei Jahrzehnte drückte die Anlage Macht und Pracht des absolutistischen Hofs aus, bis die Residenz erbaut wurde.