In de 17e eeuw raakte het onder Amsterdamse kooplieden in zwang om een buitenplaats aan te leggen. Al snel werden de binnenduinen hiervoor ontdekt: ze lagen hoog en droog en waren rijk aan natuur. Van de buitenplaatsen Duinvliet, Koningshof, Caprera, Middenduin en Duinlust is Elswout het best bewaard als landgoed.
In 1645 kocht de Amsterdamse lakenkoopman Carel Molijn het deels afgegraven duingebied. Hij bouwde er een landhuis en liet tuinen aanleggen. Het Landgoed werd naar het voorbeeld van de paleistuinen van Versailles aangelegd in een strakke stijl, gekenmerkt door rechte lijnen en symmetrie. De natuur werd aan banden gelegd met gladgeschoren gazons en kortgesnoeide hagen en bomen. Een centrale plaats op het landgoed wordt ingenomen door het grote Landhuis. In de richting van Haarlem liggen nog steeds aan weerszijden van het huis kaarsrechte lindelanen.
Rond 1780 wisselde Elswout van eigenaar en deed de Engelse landschapsstijl haar intrede op het landgoed. In deze stijl moest het park er juist zo romantisch en natuurlijk mogelijk uitzien. Dit ideaalbeeld werd geschapen door dichte bossen af te wisselen met open ruimten. De rechtlijnigheid maakte plaats voor speelse, gebogen vormen, zodat de wandelaar telkens verrassende doorkijkjes heeft op weilanden, vijvers en boomgroepen. In de nieuwe opzet werden oude bomen zoveel mogelijk meegenomen en er werden romantische paviljoentjes toegevoegd.
