Jeffries begon zijn filmcarrière begin jaren vijftig met een klein rolletje in de film Stage Fright van Alfred Hitchcock. Niet veel later speelde hij in bekende films als The Colditz Story (1955) en The Quatermass Xperiment (1955). De jaren zestig waren gloriejaren voor de acteur, met hoofdrollen in de films Two-Way Stretch (1960), The Trials of Oscar Wilde (1960), First Men in the Moon (1964) en Camelot (1967).

In de jaren nadien legde de acteur zich steeds meer toe op het schrijven en regisseren van films, wat onder meer gewaardeerde familiefilms als The Railway Children (1970) en The amazing Mr. Blunden (1972) opleverde. De laatste decennia was Jeffries voornamelijk op televisie te zien, onder meer in Inspector Morse en Jekyll & Hyde.