En 1761, le duc de Choiseul, alors premier ministre de Louis XV, achète le domaine de Chanteloup, peu après avoir été nommé gouverneur de Touraine. Dès 1765, il fait augmenter et mettre au goût du jour le château et agrandir les jardins. Tombé en disgrâce, il est exilé de Paris en décembre 1770 et se fixe à Chanteloup, dont il parachève la rénovation. Il y tient une brillante assemblée, passant pour rivale de Versailles.
La « Folie du duc de Choiseul » ou « Monument dédié à l’Amitié » fut construite par le duc en 1775, après son exil de la cour du roi Louis XV, en hommage à tous ses amis qui lui avaient témoigné leur fidélité.
Le Château fut construit en 1713 par Jean d’Aubigny pour la Princesse des Ursins.
Le domaine fut acheté par le duc de Choiseul, en 1761.
Le duc chargea le célèbre architecte Le Camus d’embellir et d’agrandir cet édifice.
Son exil terminé à l’avènement de Louis XVI, Choiseul meurt en 1785 et son domaine et vendu au duc de Penthièvre.
En 1802, le château fut acquis par Chaptal, remarquable ministre de Napoléon 1er et grand savant, créateur de procédés chimiques.