A partir du XIIème siècle, plusieurs textes font état du château de Chilhac appartenant aux seigneurs de Mercoeur. Le village, protégé par une enceinte dont il reste peu de traces, n’est alors constitué que de quelques maisons situées autour du château et de sa basse-cour. 

L’essor du village impose la construc-tion d’une seconde enceinte, datée de la fin du XVème siècle, dont les vestiges sont encore visibles. Un plan de la fin du XVIIème siècle permet d’affirmer que 5 tours de plan semi-circulaire, flanquaient les courtines. Sur la tour Est, on voit une archère canonnière percée dans sa partie Nord .