Die langgestreckte Anlage beherrscht auf steilem Bergvorsprung das Neckartal. Sie besitzt mit dem Mantelbau an der südlichen Schmalseite das größte staufische Wohngebäude nördlich der Alpen, mit fast 3 Meter dicken Mauern und romanischen Rundbogendoppelfenstern. Zur Vorburg gehören außerdem die beiden Burgtore und die Wirtschaftsgebäude. Der Bergfried in der Kernburg an der höchsten Stelle der Anlage ist zur Hofseite abgeplattet. Man erreicht ihn über einen Treppenturm mit reich verziertem Renaissanceportal. Neben dem Bergfried befinden sich die Reste des Palas mit Staffelgiebel und die Burgkapelle.
Die Herren von Hornberg hatten die Burg als Lehen von den Herren von Lauffen. Die Anlage bestand eventuell ursprünglich aus zwei Burgen, da im 14.Jh. "dua castra" bezeugt sind.