L'actuel Casino est le cinquième qu'a connu la ville de Dieppe. Le premier Casino fut établi en 1822 grâce au comte de Brancas, sous-préfet de la ville. En 1857, un nouveau Casino avec voûtes et toits de verre fut édifié sur le modèle des grands palais de verre des expositions internationales. Le 15 juin 1886, un nouveau Casino lui succède et donne alors à Dieppe son image de marque, il est nommé Casino Mauresque. En 1926, passé de mode, il est modifié pour laisser placer à un Casino de style Art déco, dû à Raoul Jourde (1928). Celui-ci est détruit durant la Seconde Guerre mondiale.

Après la guerre, on construit des Casinos provisoires en bois, de 1946 à 1957 la VILLA RACHEL sur le front de mer fait office de Casino de remplacement, puis en 1958 un Casino temporaire LA ROTONDE est construit en bois au bord de l'eau. La société Société du Casino et des Bains de Mer de Dieppe (SCBM ) a été enregistrée le 19 avril 1956 pour construire le cinquième Casino, la VILLA RACHEL est démolie en 1961 pour laisser place au nouvel établissement de Jeux qui est l'actuel Casino de la ville.