Mazursky werd geboren in 1930 in New York en maakte zijn filmdebuut als acteur in 1953 met Fear and Desire, de eerste film van Stanley Kubrick. In 1969 maakte hij zelf met Bob & Carol & Ted & Alice, over twee stellen die hun seksuele grenzen willen verleggen, zijn regiedebuut.

Groot succes had Mazursky met An Unmarried Woman, een komisch drama waarin Erica ( Jill Clayburgh) een nieuw leven moet opbouwen nadat ze door haar man in de steek gelaten wordt. De film werd genomineerd voor een Oscar in de categorie beste film. Ook Moscow on the Hudson (die hij tevens zelf schreef) werd goed ontvangen. De film met Robin Williams in de hoofdrol gaat over een Russische saxofonist die tijdens een Amerikaanse tournee naar het Westen overloopt.

Als acteur speelde hij in totaal in 23 films, waaronder The Blackboard Jungle. Daarin neemt een leraar Engels het op tegen een bende terroriserende leerlingen.

Mazursky stond erom bekend de verhouding tussen man en vrouw in de jaren zestig en zeventig op licht satirische toon te onderzoeken.