La tour Anfred était une des deux tours qui renforçaient, au sud, les remparts de la ville médiévale. On a retrouvé , lors de travaux sur la place, la base de la tour ouest à proximité de la chapelle Saint Michel qui était située en contrebas, hors les murs.

La Tour Anfred, celle de l'est, après avoir échappé à la démolition de l'enceinte en 1592, était encore intacte au début du XXème siècle, comme on peut le voir sur une photo d'époque ; elle avait une hauteur imposante et dominait de très haut les restes du rempart.

Cette enceinte devait être d'autant plus impressionnante qu'elle se dressait au dessus du vallon qui séparait alors la ville du paouvadou de Sainte Anne. C'est sur ce paouvadou que le Duc de la Valette, frère du Duc d'Epernon et commandant en chef les troupes royales, voulut déployer son artillerie pour venir à bout des ligueurs qui s'étaient retranchés dans cette redoutable place forte ; et c'est peut-être de la Tour Anfred que partit le coup d'arquebuse qui devait le tuer.

La tour médiévale est malheureusement devenue propriété privée. Toute sa partie supérieure a été détruite pour aménager une entrée pour la maison voisine.