Cassel werd begin jaren vijftig ontdekt door Gene Kelly, met wie hij later in 1957 in The Happy Road speelde. In de jaren vijftig en zestig verwierf hij veel bekendheid als held in komedies van regisseur Philippe de Broca. In zijn carrière werkte Cassel samen met bekende regisseurs als Claude Chabrol, Sidney Lumet, Jean Renoir en Robert Altman.

Jean-Pierre Cassel is de vader van acteur Vincent Cassel (Irréversible, Ocean's Twelve). In het begin volgend jaar te verschijnen Asterix en de Olympische Spelen is hij nog te zien als de druïde Panoramix.