Héritière de l’École de génie de Mézières, l’École centrale des travaux publiques est fondée en 1794 pour former un personnel technique qui manque cruellement. Elle prend en 1795 le nom d' École polytechnique. Hébergée un temps à l'hôtel de Lassay, elle s’installe sur la Montagne Sainte-Geneviève en 1805. Napoléon en profite pour lui donner un régime militaire et ainsi encadrer des élèves qu'il juge trop indisciplinés. L'École est d'ailleurs toujours dirigée par un général, et ses élèves français ont le grade d'officier.

L'X, comme on l’appelle aussi, s'est ouverte à la recherche à partir de la fin des années 1930, avec l'arrivée du physicien Louis Leprince-Ringuet. Les filles y sont admises depuis 1972.
Depuis 1976, l'école est installée à Palaiseau.