A magas, elegáns Melchon Gaston Ferrer egy Puerto Ricói orvos fia a híres princetoni egyetemre járt, ahol díjat nyert egy színdarabjával, majd gyermekkönyve jelent meg. Ezt követően könyvkiadó lett New Yorkban és csak ezután tért át a színi pályára: musicalekben táncolt a Broadway-n, majd színészi munkája mellett rendezni is kezdett. Egyik legjobb rendezői munkája a Cyrano de Bergerac volt, amelynek főszereplője, José Ferrer, akivel nem állt rokoni kapcsolatban, később filmvásznon is sikerrel megismételte ezt az alakítását.

Filmes karrierje 1949-ben kezdődött. A tekintély parancsoló külsejű, kiváló orgánumú Ferrer ideális volt határozott, hősi karakterek megformálására. Így esett rá King Vidor választása a Háború és béke Bolkonszkij hercege szerepére. Az 1956-ban forgatott film egyben magánéleti fordulatot is hozott a színész számára: ekkor vette feleségül a Natasa Rosztovát alakító Audrey Hepburnt. Ő már a negyedik neje volt - az előző három közül az egyiket kétszer is elvette - 1968-ig éltek együtt, és ez idő alatt művészi kapcsolatuk is gyümölcsöző volt. Együtt játszottak a Mayerling tv-változatában, Ferrer rendezte Hepburnt a Zöld udvarház című filmben (1959), és ő lett a producere a színésznő egyik legnagyobb alakítását jelentő Várj, míg sötét lesz című kriminek, amelyben Hepburn egy drogcsempészek csapdájába esett vak nőt játszott. Párja szerint Ferrert, aki alakította Arthur Királyt és El Grecót, volt római katona és amerikai tábornok, nyomasztotta a színészet, sokkal inkább jól érezte magát a bőrében rendezőként, vagy producerként.

Élete utolsó évtizedeiben elsősorban tv-filmekben szerepelt, még a Dallas néhány epizódjában is játszott. Nyolcvan éves korában bejelentette visszavonulását, azóta kaliforniai birtoka és a svájci Lausanne között osztotta meg idejét.