Brecher begon zijn carrière in de jaren dertig als grappenschrijver door het plaatsen van een advertentie in het Amerikaanse filmvakblad Variety. In die tijd stond de komische acteur Milton Berle bekend als iemand die zijn grappen overal vandaan sprokkelde en dus schreef Brecher in de advertentie: ‘Positively Berleproof gags. So bad not even Milton will steal them.’ Brecher werd uiteindelijk door Berle aangenomen.

In 1937 verhuisde Irving Brecher naar Hollywood en werkte onder meer als scriptadviseur voor The Wizard of Oz ( Victor Fleming, 1939). Met zijn scenario voor twee films van The Marx Brothers ( At the Circus en Go West), werd hij de eerste en de enige die solo een film voor Groucho Marx en zijn broers schreef.

Brecher was met name actief in de jaren veertig, toen hij meeschreef aan komedies en musicals als Shadow of the Thin Man (W.S. Van Dyke, 1941) en Summer Holiday (Rouben Mamoulian, 1948). Voor het scenario van Meet Me in St. Louis, een musical met Judy Garland in de hoofdrol, ontving Brecher een Oscarnominatie.