Das heutige Gebäude ist Zeugnis einer besonderen Entwicklungsgeschichte, zumal der Ansitz mit Burgcharakter auf einem bescheidenen Bauernhaus (dessen Fundamente im heutigen Keller/Parterre liegen) einfach daraufgebaut wurde. Man kann im heutigen Gebäude die fortlaufenden Erweiterungen des mittelalterlichen Bauernanwesens erkennen. Weiters nimmt man an der Südfassade noch den Ansatz eines ehmaligen Turms(?) wahr. Die heutige repräsentative Erscheinungsform geht großteils auf das Jahr 1546 zurück, nachdem die Herren von Troyer zu Gisssbach das Anwesen erworben und eine Erweiterung vorgenommen haben. Demnach sind auch noch entsprechende Elemente aus der Renaissance- sowie Barockzeit am Gebäude innen und außen erhalten. Hervorzuheben sind weiters die bestehenden Stilelemente aus dem norditalienischen Raum, welche sich vorwiegend an venezianischen Palästen wiederfinden. Historisch war das Gebäude von Bedeutung, weil es ehemals Sitz der Grafen von Grembs war, deren Vorfahren aus dem Bauernstand stammen und "siegel"-berechtigt wurden. Daher kommen auch die alten Bezeichnungen "Herrenhaus" oder "Obergrembsen". Die Grafen von Grembs wurden gezwungen kurz nach 1530 das Anwesen verlassen, weil sie "Wiedertäufer" waren und von der Kirche nicht mehr im Ort geduldet wurden. Die nachfolgenden Herren von Troyer verwalteten den kaiserlichen Burgfrieden Gissbach bis Anfang des 19. Jahrhunderts. Seitdem kam Schloss Gissbach in bürgerlichen Besitz und wurde als bäuerliches Anwesen verwaltet. Der danebenliegende heute wiederhergestellte Ansitz Gremsen wurde seit 1800 ausschließlich als Stall- und Wirschaftgebäude von Schloss Gissbach genutzt. In Schloss Gissbach befindet sich ein prächtiger Stiegenaufgang aus Granitstein mit seitlich angebrachten Hellebarden. In zweiten Stock liegt eine Hauskapelle mit Barockaltar und den großformatigen Bildern der "Auferstehung" und dem "letzten Abendmahl", welche dem hl. Cyriak geweiht war. Eigentümer ist seit 1948 die Familie Walde.
