Né à Salisbury, en Angleterre, il joue dans ses premières pièces de Shakespeare à 13 ans, à la Truro School, puis suit les cours de l’University of East Anglia, où il fonde la Dramatic Society of UEA Norwich. A sa sortie de l’université, il entame sa carrière au célèbre Maddermarket Theatre de Norwich, il enseigne pendant un an puis prépare son diplôme de la Royal Academy of Dramatic Arts (RADA). Il jouera dans de nombreuses pièces de théâtres de répertoire anglais, dont Shakespeare où il incarnera tous les personnages, d’Othello à Macbeth en passant par Claudius ou Falstaff. Il a aussi joué plusieurs saisons à la Royal Shakespeare Company. Il a joué dans " The Shadow Dancer " avec Joshua Jackson et " The Game of Their Lives " avec Wes Bently.

John Rhys-Davies débute au cinéma dans CONTRE UNE POIGNEE DE DIAMANTS de Don Siegel, avec Michael Caine - un rôle bref puisqu’il meurt avant le générique de début. Sa filmographie est extraordinaire dont LES AVENTURIERS DE L’ARCHE PERDUE et INDIANA JONES ET LA DERNIERE CROISADE de Steven Spielberg, VICTOR VICTORIA de Blake Edwards, avec Julie Andrews, TUER N’EST PAS JOUER de John Glen, ALLAN QUATERMAIN ET LES MINES DU ROI SALOMON de Jack Lee Thompson, MYSTERE A BUFFALO d’Alan Rudolph, SABRETOOTH de James Hickox, DELTA FORCE ONE : ThE LOST PATROL de Joseph Zito, THE LOST WORLD de Timothy Bond. Il a également joué dans CORONADO de Claudio Fah et dans LE MEDAILLON de Gordon Chan, avec Jackie Chan et Claire Forlani.

Il a été cité à l’Emmy pour son rôle de Rodrigues dans la minisérie " Shogun ". Il a été l’interprète du professeur Arturo dans " Sliders, les mondes parallèles " et a joué également dans " Les Incorruptibles ", " I, Claudius ", " The Naked Civil Servant ", " War and Remembrance ", " Helen of Troy ", " Lord of the Piercing ", " Britannic ", " AuPair ", " Great Expectations ", " Perry Mason : The Case of the Murdered Madam " parmi de nombreux téléfilms et séries.
Il a été la guest star de " Arliss ", " The Justice League ", " Star Trek : Voyager " et " Les Contes de la Crypte ".