Die Burg Tölz entstand im 12. Jahrhundert als Sitz der örtlichen Herren von Tölz und wurde nach dem Stadtbrand 1453 nicht wieder aufgebaut, blieb jedoch als Ruine in Teilen bis Ende des 17. Jahrhunderts stehen und ist daher auf einigen alten Stichen noch abgebildet. Verschüttete Mauerreste tauchten beim Bau der Knabenrealschule 1828 auf und wurden dabei abgerissen. Die heutige katholische Stadtpfarrkirche geht in ihrer frühesten Form wohl auf die ehemalige Burgkapelle zurück. #D#er Burgkeller (Klammergasse 4) und der unterste Teil des Turmes der katholischen Pfarrkirche Mariä Himmelfahrt (nach dem Stadtbrand 1466 größer neu erbaut) gehen vermutlich auf die Burg Tölz zurück. Ansonsten ist das Gelände unter anderem beim Neubau der Pfarrkirche und deren Außenanlagen so umgeformt worden, daß die Burg Tölz im Ortsbild nicht mehr zu erkennen ist. Sie wurde durch das ca. 80m südöstlich jenseits des Schulgrabens gelegene, inzwischen ebenfalls verschwundene Schloss Tölz abgelöst.
Erhalten: nichts
Kupferstich von Matthäus Merian der Ältere, Topographia Bavariae, 1644