Andy Griffith maakte naam in de Amerikaanse televisiewereld met zijn eigen The Andy Griffith Show in de jaren zestig. Griffith speelt hier een zorgelijke sheriff in een slaperig dorpje in het zuiden van Amerika. De serie liep van 1960 tot 1968 en stond al die jaren in de top tien van tv-programma's. In Nederland is de acteur vooral bekend van de advocatenserie Matlock die negen seizoenen draaide tussen 1986 en 1995. Griffith produceerde de serie zelf en speelde de titelrol van advocaat Ben Matlock.

Griffith maakte in 1957 zijn acteerdebuut in de film A Face in the Crowd, onder regie van Elia Kazan. Griffith speelt de rol van Larry 'Lonesome' Rhodes, een zwerver uit Arkansas die van straat wordt gepikt en met behulp van een producer en de radio grote roem verkrijgt. De film was destijds geen groot succes omdat die volgens critici zijn tijd ver vooruit was. Uiteindelijk groeide A Face in the Crowd uit tot een klassieker en werd in 2008 geselecteerd voor conservatie in het National Film Registry van de Library of Congress: de nationale bibliotheek van de VS in Washington DC.

De acteur speelde vervolgens in de komedies No Time for Sergeants en Onionhead uit 1958 en begon daarna meer series en films voor televisie te maken. Hij speelde vaak rollen als slechterik, in misdaadfilms als The Strangers in 7A, Go Ask Alice en Winter Kill. De romantische komedie Play the Game uit 2009 is de laatste film van de acteur. Griffith speelt hier de rol van de oudere weduwnaar Joe die versierlessen van zijn kleinzoon krijgt.

In 1981 werd Griffith genomineerd voor een Emmy voor zijn rol van Ash Robinson in de tv-film Murder in Texas. De acteur bracht ook een aantal gospel- en countryalbums uit en won een Grammy voor zijn muziek. Griffith kreeg in 2005 de Presidential Medal of Freedom, de hoogste onderscheiding voor Amerikaanse burgers, van toenmalig president Bush.