Die Agnesburg gehörte wohl einstmals zu einer Kette von heute noch teilweise erhaltenen Burgen wie Hohenstaufen, Lauterburg, Oberalfingen, Kapfenburg, Gromberg, Schenkenstein, Flochberg und Oberhaus bei Nördlingen.

Diese Burgen wurden im Mittelalter von den Staufenkaisern als Verteidigungsgürtel entlang der Schwäbischen Alb erbaut und dienten zur Absicherung der wichtigen mittelalterlichen Handelsstraßen vom Donau- in den Neckarraum.

Die Besitzer dieser Burg waren einstmals die „Herren von Westhusen“. Diese bewohnten die Burg nachweislich bis zum Jahre 1403. 
Der letzte Nachkomme dieses Adelsgeschlechts war deren Tochter Agnes. 
Als diese, als letztes Glied der „Herren von Westhusen“, unverheiratet und ohne jegliche Nachkommen verstarb, hatte sie zuvor ihre großen Besitztümer, wie urkundlich erwähnt, in „holz, weyd und Fischwasser“ gestiftet und als große Wohltäterin der Gemeinde Westhausen und der Kirche vermacht.

Eine Gedenktafel über diese großherzige Spende an die Westhausener Bürger ist heute noch in der katholischen Pfarrkirche St. Mauritius in Westhausen zu sehen. Nach dem Tod der Agnes, von welcher sich auch der Name der Agnesburg ableitet und deren Gebeine unter dem Mittelgang der heutigen Pfarrkirche zu Westhausen ruhen sollen, wurde die Burg in keiner Urkunde mehr erwähnt. 
Sie ist danach zerfallen und die Steine ihrer Mauern wurden später von den Bauern als Baumaterial abtransportiert.

Von der Agnesburg selbst sind daher keine Mauerreste mehr vorhanden, deutlich ist jedoch noch der die Burg umgebende Wallgraben zu erkennen.

Auf dem Agnesburg-Plateau befinden sich einige Sitzbänke und ein Tisch. So können sich müde Wanderer erholen und sich dort, falls sie was mitgebracht haben, auch etwas stärken. 
Auch ein Kreuz befindet sich dort mit einem Gipfelbuch, worin sich schon viele Wanderer und Besucher eingetragen haben.

Von Westhausen ausgehend verlaufen noch heute mehrere uralte, urkundlich erwähnte Fußwege, die direkt zur Agnesburg führen. Diese Wege können nun größenteils wieder beschritten werden.

Der wohl wichtigste und bekannteste derartige Weg ist ein Hohlweg, die sogenannte „Eselssteige“. Der Sage nach sollen hier früher Esel aufgestiegen sein, um die Burgbewohner mit Wasser zu versorgen, welches sie in Fässchen am Hals trugen. 
Nach alten Überlieferungen stammte dieses Wasser aus dem so genannten „Glockenbrunnen“, der sich direkt unterhalb des Waldrandes auf dem Wege zur Agnesburg befand und heute durch den Autobahnbau verschüttet ist.

Auch der „Agnesburgtunnel“ der Autobahn A7 bei Westhausen erhielt seinen Namen von dieser Burg.

Ausgangspunkt ist der Bohlerparkplatz am Waldrand von Westhausen. 
Diesen Parkplatz kann man erwandern oder auch mit dem PKW anfahren.

Es gibt nun drei Möglichkeiten, die Agnesburg zu Fuß zu erreichen:

1. Sie wandern auf dem unteren Weg bis zum Holzwegweiser „Eselssteige“ und gehen dann diese Steige hinauf, immer weiter bis zum Ziel.
    
2. Sie erwandern sich die Agnesburg auf dem oberen, sonnigeren Weg und gehen ebenfalls bis zu dem Holzschild, das ihnen das unmittelbar bevorstehende Ziel durch den Wald weist.
    
3. Der zweifellos interessanteste Weg, der jedoch einige körperliche Fitness abverlangt, ist der „Burgsteigeweg“. Auf den Ausgangspunkt dieses Weges wird ebenfalls durch ein Holztäfelchen hingewiesen. Dieser „Burgsteigeweg“ oder Pfad, der mitten durch den Wald führt, ist ein urkundlich erwähnter, uralter Fußweg, den die Burgbewohner und andere Besucher der Burg schon im Mittelalter benutzten.
   Auf diesem Weg zur Agnesburg genießen sie teilweise eine herrliche Aussicht über Westhausen und eine Rundumsicht über die gesamte Umgebung.

Die Wanderzeit auf allen drei genannten Wegen beträgt ungefähr 30 bis 45 Minuten.