Michel Piccoli, nato in una famiglia di musicisti, metà italiana e metà francese, con lontane origini ticinesi, da Marcelle Expert-Bezançon (1892-1990), pianista, e Henri Piccoli (1889-1975), violinista, esordì nel film Silenziosa minaccia (1945).

Il film che lo fece conoscere al grande pubblico internazionale fu Il disprezzo (1963) di Jean-Luc Godard, cui seguirono, tra i titoli più noti, Il diario di una cameriera (1964), Dillinger è morto (1969), La grande abbuffata (1973), Life Size (Grandezza naturale) (1974), Tre simpatiche carogne (1976), Salto nel vuoto (1979), La signora è di passaggio (1981), Passion (1982), L’armata ritorna (1983), Viva la vita (1984), La bella scontrosa (1991), Compagna di viaggio (1995), Genealogia di un crimine (1997), Libero Burro (1998), La petite Lili (2003), Specchio magico (2005), Belle toujours e Giardini in autunno (2006), La duchessa di Langeais (2007), Habemus Papam (2011), per il quale l’anno successivo ha vinto David di Donatello e il Premio Vittorio Gassman per il miglior attore protagonista al Bif&st di Bari.

Nel 1997 debuttò nella regia con Alors voilà, cui seguirono nel 2001 La plage noire e nel 2005 C’est pas tout à fait la vie dont j’avais rêvé.

Muore il 12 maggio 2020 a causa di un ictus cerebrale nella sua residenza di Saint-Philbert-sur-Risle a 94 anni ma la famiglia ne comunica il decesso solo oggi (18 maggio 2020).

È stato sposato in seconde nozze per undici anni con la cantante e attrice Juliette Gréco.

Politicamente impegnato, ha espresso più volte il suo sostegno al Partito Socialista Francese, scagliandosi spesso contro il partito di estrema destra Front National.

Nel marzo 2007 ha firmato insieme a 150 intellettuali un appello a votare per Ségolène Royal alle elezioni presidenziali.