L’histoire de Montfort l’Amaury commence dès le Xe siècle, lorsque Robert le Pieux, fils d’Hugues Capet, roi de France, reçoit en apanage le pays d’Yvelines. Il prend alors pour résidence le château de Saint-Léger et décide de faire édifier deux points de défense : l’un près d’Epernon, l’autre ici, sur cette butte de 185 mètres d’altitude, qui surplombe la voie romaine qui relie Beauvais à Chartres, aussi appelée « Montfortis ».
Guillaume de Hainault est chargé de la fortifier afin d’en faire un élément de défense du royaume contre les invasions normandes. Son fils, Amaury Ier (1020-1060), lui succède et nomme Hugues Bardoul, son gendre, capitaine du château
Le château se présente alors comme un donjon octogonal irrégulier d’une largeur d’environ 20m avec des murailles de 2m50 à 3 m d’épaisseur.
Le donjon est défendu du côté ouest par un large fossé sur lequel est jeté le petit pont existant actuellement. Tantôt du parti des anglais, tantôt du parti des français pendant la guerre de Cent Ans, le château a été démantelé vers le milieu du XIVe siècle.
Amaury fait entourer la Ville de ses premiers remparts en pierre et lui donne son nom. Il fait également construire la chapelle Saint-Laurent.
Au XIVe siècle, lorsque Yolande de Dreux, comtesse de Montfort (1312-1320), épouse Arthur II de Bretagne, le Comté devient une propriété de la couronne d’Armorique. Ainsi, le fils aîné du duc de Bretagne portera désormais le titre de comte de Montfort. La Ville devient alors bretonne pour deux siècles.
C’est Anne de Bretagne qui fait reconstruire le château en y ajoutant la Tour qui portera son nom, édifice de style gothique flamboyant, héritage d’un lointain passé.