An dieser Stelle befand sich bis zum Jahr 1279 die Altenberger Turmhügelburg des Reichsministrialen Eberhard von Hertingsberg. Heute steht hier nur noch ein Sandsteindenkmal. Die Burg entstand im 12. Jahrhundert. Sie wurde von den staufischen Reichsministeralien der Familie Berg-Hertingsberg bewohnt. Aus ihrem Siegel ging auch das heutige Wappen der Stadt Oberasbach hervor. Reichsministriale bezeichnete man früher Beamte des deutschen Kaisers, deren vielfältigen Aufgaben in der Rechtsprechung und der Verwaltung des kaiserlichen Besitzes bestand. Außerdem hatte sie auch militärische Aufgaben, wie zum Beispiel die Bereitstellung von Kampftruppen für den Kaiser oder den Schutz von Straßen. Ganz konkret war dies in Altenberg die Rothenburger Straße.
Leider befindet sich dieser Erinnerungsstein inzwischen auf einem Privatgrundstück und ist daher nicht frei zugänglich. Wir können aber einen „Blick über den Zaun“ werfen. Die Stelle an der wir gerade stehen war früher ein Wassergraben, der erst in den 1950er Jahren zugeschüttet wurde. Ein Modell der Turmhügelburg steht heute in der Altenberger Grundschule.
Das Jahr 1279 war eine Zäsur für Altenberg: Eberhard von Hertingsberg hatte keine männliche Erben. Und so entschloss er sich mit seiner Frau Guta dazu, zusammen mit den drei Töchtern ins Kloster einzutreten, und seine weltlichen Güter dem Klarissen-Kloster in Nürnberg zu vermachen. Eine prächtige Schenkungsurkunde bezeugt noch heute diesen Vorgang. Sein Cousin Heinrich von Berg, der nicht weit weg auf der „Alten Veste“ residierte, war davon gar nicht begeistert, hätte er oder seine Erben doch nach dem Ableben von Eberhard von Hertingsberg die Vormundschaft über die drei Töchter und deren Besitztümer übernommen. Unabhängig davon hat die Herrschaft derer „von Berg“ auch nicht mehr lange angedauert. 1306 übernahmen die Burggrafen von Nürnberg die Alte Veste. Aber das ist eine andere Geschichte.
Die Turmhügelburg muss nach 1279 wohl rasch abgerissen worden sein. Zumal die Steine und Mauern gar nicht im Eigentum von Eberhard von Hertingsberg waren, sondern dem Bischof von Eichstätt gehörten.