A 50 km de Rodez,de Millau et d'Albi,au-dessus des eaux mêlées du Tarn et de l'Alrance, le château-fort de Brousse, situé sur un éperon rocheux, domine un des plus beaux villages de France. Ce château a appartenu aux comtes de Rodez et d'Arpajon. Il est une illustration parfaite de l'architecture militaire médiévale.

Il a conservé son enceinte fortifiée ainsi qu'une grande partie de son chemin de ronde. L'enceinte, flanquée de six tours, protégeait le château d'éventuelles attaques.