Le Cercle Impérial a été fondé en 1854 dans l'ancien bâtiment de l'ambassade ottomane à l'angle de la rue des Champs Elysées avec l'avenue Gabriel. L'aristocratie de l'Empire était la base de ses associés. Par ses statuts, le nombre de membres permanents était de 700 et la cotisation annuelle de 300 francs, un montant très élevé pour l'époque.

Son président était le Comte de Morny, et entre les vice-présidents et les membres ils comptaient des généraux, des amiraux, des marquis, des comtes, des barons, etc. C'était l'un des cercles où les enchères de jeu étaient très élevées. En 1870 le Cercle change le nom en Cercle des Champs Elysées et a déménagé au 5 Rue des Champs Elysées.