Das Hauptgebäude wurde 1597 von Wilhelm I. den Jesuiten zum Erholungsaufenthalt geschenkt. Warnberg markiert mit 576-580,5 m den höchsten Punkt des Münchner Stadtgebietes.