Initialement construit au XIIIe siècle, il appartenait aux Barons de Castelnau de Bretenoux, établis de longue date en Haut-Quercy. Il connut une période faste jusqu’au XVIIIe siècle. Puis fut laissé à l’abandon pour connaître un incendie qui ravagea une partie de ses logis.

