Le premier document connu retraçant l'histoire de Puycelsi est, en 1180, l'acte de vente par lequel l'Abbé Pierre d'Aurillac, vendit cette seigneurie au Comte de Toulouse, Raymond V, à qui l'importance stratégique du site n'avait pas échappé : aux confins du Languedoc et de la Guyenne, tout proche des plateaux Cadurciens. Les Comtes de Toulouse fortifièrent la place et édifièrent un château, disparu depuis, et dont tout laisse penser qu'il fut leur préféré. Fidèle au Comte de Toulouse, Puycelsi résista par deux fois aux Montfort lors de la Croisade des Albigeois : à Simon de Monfort en 1211, puis à son frère Guy en 1213, qui ne purent s'emparer de la citadelle. Le traité de Meaux en 1229, qui marqua avec la fin de la Croisade des Albigeois la réconciliation de Raymond VII avec le jeune Roi de France Louis IX, stipulait que vingt-cinq villes ayant résisté aux vainqueurs devaient être détruites ; bien sûr, Puycelsi était du nombre. Commença alors un long démantèlement du village et de ses fortifications.
Et pourtant, le village résista vaillamment à d'autres envahisseurs : aux Routiers du Vicomte de Montclar, en 1363, au Sieur de Duras, à quatre cent cinquante anglais lors de la guerre de Cent Ans et même au Sieur de Payrol, qui y connut la défaite pendant les guerres de religion. Il faut dire qu'il était difficile de déloger les puycelsiens - dont la fidélité à la couronne de France ne s'était pas démentie au fil des siècles, - perchés qu'ils étaient sur leur piton rocheux et à l'abri de leurs remparts. La porte de l'Irissou (la herse) - à l'architecture rare dans notre région -, un chemin de ronde, plus de 800 m de remparts et des tours de guet attestent du caractère défensif de la place.Au cours de son histoire, quatre épidémies de peste vinrent frapper le village entre 1586 et 1652 ; pour repousser ce fléau, les habitants édifièrent la chapelle Saint-Roch, qui abrite aujourd'hui la Maison du Tourisme. Saint-Roch protégea peut être le village, mais c'est plus vraisemblablement son isolement, en évitant les échanges avec l'extérieur, qui empêcha la propagation de la peste : pour accéder au village, il n'y avait que des chemins muletiers.
