Le plus ancien document mentionnant l’existence du château de Bruyères le Châtel est la charte de l’abbaye de Saint Florent de Saumur de 1070. Il a été construit sur les ruines d’un ancien monastère de religieuses dont ne subsiste que la chapelle Notre Dame au XIe siècle. De cette forteresse, appartenant au système de défense de la région parisienne, élevée sur une éminence naturelle dominant le village, ne reste que très peu de vestiges (partie voûtée de la cuisine).
De nouvelles fortifications sont édifiées au XIVe, dont subsistent la poterne d’entrée avec les tourelles, les machicoulis et les traces de la herse d’un pont levis. Le premier seigneur mentionné est Hugues de Bruyères, début XIIIe. A partir de 1457, le domaine appartient à la famille de la Rochette. En 1676, Louis XIV érige la baronnie de Bruyères en marquisat, en faveur de Louis de l’Espinette Le Mairat qui réaménage le château et le parc. Le nouveau propriétaire fait abattre les arbres du parc, les fortifications sont rasées en 1793.