Selon la mode du pays du Bas-Limousin, le château féodal fut construit à flanc de côteau. Les murs d'enceinte et la tour primitive, bâtie dans la cour d'honneur, témoignent encore de l'importance de la seigneurie qui connut les assauts anglais et les ruines causées par les Guerres de Religion. La seigneurie appartient à Jean d'Armagnac, duc de Nemours (décapité par ordre de Louis XI, en 1477), puis à Pierre de Bourbon et à Charles Rohan de Gié, fils de Pierre de Gié, maréchal de France. Les Monfraboeuf s'installent sur la propriété au début du XVIe siècle. Alliés avec la famille de Lubersac, ils font construire le château de trois étages. Un corps de logis flanqué d'une tour ronde et d'une tour carrée, ornée de lucarnes sculptées. Jean de Monfraboeuf passe son contrat de mariage avec Mlle de Rollignac, en 1581, au château de La Chabroulie...