Reginald Carey néven látta meg a napvilágot Liverpool közelében. A kikötővárosban ismerkedett meg a színjátszás alapjaival és nem kis önbizalomról tanúságot téve itt választotta művésznevét is (Rex latinul királyt jelent). Először tizenhat évesen állt a világot jelentő deszkákon, de egysoros szerepét sikerült elrontania. Nem zavarták el, s nem szegte az ő kedvét sem a kudarc, így magával ragadó egyéniségének, kellemes, vonzó megjelenésének köszönhetően rövid idő múlva már a brit színészek élvonalába került. 1936-ban debütált a New York-i Broadwayn, s azonnal sztár lett itt is.
A II. világháborúban a brit Királyi Légierő (RAF) hadnagyaként szolgált, leszerelése után kirobbanó sikert aratott a Vidám kísértet és a Mégis szeretik a nők című szórakoztató angol filmekben. 1945-ben költözött Hollywoodba, a 20th Century Fox stúdió ajánlott neki szerződést. Bár 1946-ban emlékezetes alakítást nyújtott az Anna és a király című filmben, karrierjét visszavetette, hogy az akkor már második feleségével élő Harrison miatt egy fiatal színésznő öngyilkosságot követett el. (Szexi Rexi, ahogy a pletykarovatokban emlegették a sármos színészt, hosszú élete során hatszor nősült, utoljára hetvenévesen, a feleségek sorában volt Lilli Palmer német színésznő is.)
Sztárszerepet osztottak rá egyebek között 1965-ben az Agónia és extázisban, 1967-ben a Doctor Doolittle filmmusicalben, a hetvenes években Az ötödik muskétás Dumas-parafrázisában, valamint a kalandos Ashantiban. Több alkalommal is megkapta a New York-i Filmkritikusok Díját, a Kleopátra Julius Caesar alakításáért Oscar-díjra is jelölték.
Legismertebb és legnépszerűbb, színpadon és filmen egyaránt hatalmas sikert aratott szerepe Henry Higgins professzor volt a My Fair Lady-ben. A G.B. Shaw színműve alapján készült musical ősbemutatóján és az 1981-es felújításkor is ő alakította a férfi főszerepet, s megkapta a színházi Oscarnak nevezett Tony-díjat. Amikor a darabot 1964-ben megfilmesítették, természetesen őt választották a szerepre Audrey Hepburn partnereként. Harrison abban az évben elnyerte a legjobb férfi főszereplőnek járó Oscart az elbizakodott, magányos agglegény fonológus professzor alakításáért.
Önéletrajza, a Rex 1975-ben jelent meg, négy évvel később verseskötetet adott ki. Bár 1974-ben a magas adók miatt végleg elköltözött Angliából, 1989-ben II. Erzsébet királynő lovaggá ütötte. 1986-ban forgatott utoljára, s halála előtt egy hónappal lépett fel utoljára. 1990. június 2-án, New Yorkban halt meg hasnyálmirigy-rák következtében.
