En 1368, Jean Bernier ( -1384) conseiller du roi Charles V (1338-1380) achète un manoir qu’il transforme en château fort avec des douves. En 1384, ce dernier devient la propriété de la famille d’Argennes qui l’occupera pendant trois siècles. Un de ses membres, Jacques d’Argennes (1514-1562) le transforme en créant au rez-de-chaussée une magnifique salle dans le goût italien ainsi qu’un grand escalier en brique et pierre. Le domaine comprend alors cinq cents hectares clos de murs et devient un endroit privilégié pour la chasse. Très apprécié de François Ier, ce dernier s’y arrête et y meurt en 1547 des suites d’une infection généralisée.

En 1612, Rambouillet est élevé au rang de marquisat par Louis XIII (1601-1643) pour récompenser des services rendus au roi. C’est à cette époque que la Marquise de Rambouillet (1588-1665), célèbre pour son salon littéraire, invite en son château pour assister à des représentations théâtrales. Puis en 1699, il est acquis par Jean-Baptiste Fleuriau d’Armenonville (1660-1728), intendant des Finances, qui réalise un jardin à la française et qui aménage les magnifiques perspectives du parc. En 1706, il est contraint de céder sa propriété au Comte de Toulouse (1678-1737), fils légitimé de Louis XIV (1638-1715) et de Madame de Montespan (1640-1707). Celui-ci transforme et modernise le château pour pouvoir y accueillir le roi et sa cour qui n’y viendront que deux fois. De 1730 à 1736, il crée une nouvelle suite de pièces dite ≪ appartement d’Assemblée ≫ au décor très raffiné. En 1737, son fils unique le duc de Penthièvre (1725-1793) en hérite. Celui-ci se consacre à l’embellissement du parc en réalisant un certain nombre de canaux comprenant des iles et des ponts. Ainsi par des chemins tortueux, le promeneur est amené à découvrir par surprise de mystérieux petits édifices appelés ≪ fabriques ≫ tels que la remarquable chaumière aux coquillages.

En 1783, Louis XVI (1754-1793) souhaitant également profiter de la chasse achète le château de Rambouillet à son cousin pour une somme considérable. Il fait construire de vastes communs pour accueillir ses nombreux serviteurs et de nouvelles écuries pouvant recevoir cinq cents chevaux. Avec l’espoir que Marie-Antoinette apprécie Rambouillet, il y bâtit la fameuse laiterie et une ferme expérimentale avec une bergerie moderne pour laquelle il importe d’Espagne un troupeau de mérinos dans le but d’améliorer la qualité de la laine. Par ailleurs, il fait remanier les jardins par le grand artiste Hubert Robert (1733-1808) dans le style anglais qui plait tant à la Reine.