Anlass für den ersten Silvesterritt war eine seit 1610 wütende und sich zu Beginn des Dreißigjährigen Krieges verschärfende Lungenfäule des Viehs, die die Bauern in größte Not stürzte.

In Ihrer Verzweiflung flehten sie den heiligen Silvester an und gelobten, eine Kapelle zu seinen Ehren zu errichten, sollte es ihm gelingen, sie von dieser Heimsuchung zu befreien. Einem Wunder gleich bekamen die Geplagten Hilfe "von Oben". Wenig später lösten sie ihr Versprechen ein und bauten außerhalb des Ortes Richtung Jagsthausen eine Wallfahrtskapelle.

Bald kam der Brauch auf, am Namenstag des Heiligen zu dem damals einsam aus weiter Flur erbauten Kirchlein zu reiten und Gott mit einem Fruchtopfer zu danken.

Die Bittwallfahrten wurden immer beliebter. Es waren vor allem Pilger aus dem Härtsfeld, die in Zeiten der Not nach Westhausen eilten, um in der Silvesterkapelle Beistand zu erflehen.

Zu Beginn des 19. Jahrhunderts wurde es still um die Kapelle. Die Wallfahrer kamen nur noch einzeln zu Fuß oder zu Pferd, nicht nur zu Silvester, sondern das ganze Jahr hindurch.

Ende der sechziger Jahre des letzten Jahrhunderts erlebte der Silvesterritt wieder einen deutlichen Aufwärtstrend. Inzwischen hat sich die Zahl der teilnehmenden Reiter auf 230 bis 260 eingependelt und der Silvesterritt ist weit über die Grenzen von Westhausen hinaus zu einer beachtenswerten christlichen Reiterprozession geworden.