Juste avant de pénétrer dans une caverne, le sentier traverse des bâtiments ruinés dont il ne reste que quelques pierres au sol. A la sortie de la grotte, on atteint le site de Saint-Pons.
Il est fort probable que le terme "ermitage" pour qualifier Saint-Pons soit inopportun. Il semblerait plutôt que ces quelques pans de murs attestent de la présence à cet endroit d'un réduit fortifié, aménagé au Moyen Age.

Ils étaient légions tout au long des gorges du Tarn et de la Jonte. Le mythe ayant la vie dure, un pèlerinage fin organisé jusqu'au début du XXème siècle pour la guérison des malformations infantiles. On peut y voir encore malgré les dégradations du temps, des murs montés en pierre !aillées, une porte avec arc en retrait sur ses pieds-droits et deux petites fenêtres. La falaise sur laquelle sont adossés ces vestiges montre des loges creusées artificiellement afin d'y faire reposer des poutres ou des arcs supportant les voûtes.


Ce type d'habitat troglodyte très ancien, a été utilisé jusqu'à très récemment dans le hameau de Déglazines que l'on aperçoit sous les falaises du causse de Sauveterre en direction de l'ouest. L'abbé Alexis Solanet dans Les Gorges du Tarn illustrées (1894) écrit ai propos de Déglazines. "Les maisons s'adaptent au rocher et font corps avec lui, (...). En y regardant bien on se rend compte qu'entre la roche naturelle et le mur fait de main d'homme, il y a une sympathie réelle, une affinité native dont l'indicible loi les amène à se mêler, à se pénétrer." A l'époque où ces lignes furent écrites, i! y avait une vingtaine d'habitants dans ce hameau isolé de tout.

Les grottes ou les simples anfractuosités de la roche offrent aussi des refuges à divers groupes animaux. Du plus éloigné au plus proche de la lumière, nous avons : (1) les chauve-souris (79 espèces sur les causses), (2) certains mammifères, comme les loirs, qui hibernent à la mauvaise saison et colonisent les cavités car les conditions de température et d'humidité y sont très stables et (3) les oiseaux (hirondelles de rocher, craves à bec rouge, corneilles, etc.) qui utilisent l'entrée des grottes pour y installer leur nid.