Le château actuel est du XIIIème siècle, mais il a été remanié de nombreuses fois. Il se compose aujourd'hui de deux corps de logis disposés en équerre ; l'un a été remaniée au XVème siècle avec ses baies à meneaux et croisillons et sa superbe tour d'escalier octogonale, couronnée d'un lanternon, l'autre, avec son toit mansardé, est du XVIIème siècle. A l'origine un mur d'enceinte fermée la cour intérieure. La porte fortifiée a été remplacée par un portail ornemental. Les quatre tours rondes (dont l'une accueillait une chapelle au rez-de-chaussée) lui permettent toutefois de conserver son allure médiévale. Par mi ses nombreux propriétaires, on trouve au XVème siècle Jean IV le Viste, membre de la cour de Charles VII, président de la Cour des Aides. Pour certains historiens, il serait le commanditaire de la célèbre tenture de la "Dame à la Licorne", conservée aujourd'hui au musée national du Moyen-âge.