Orosz származású szüleivel ötévesen érkezett Amerikába. Kottát olvasni soha nem tanult meg tisztességesen, igazság szerint mást se nagyon, formális képzése hamar abbamaradt. Apja korai halála után dolgoznia kellett, volt rikkancs, kifutófiú, majd a vendégeket zenével szórakoztató pincér egy vendéglőben. Itt írta első, a vendéglőt reklámozó dalát is. Bár gázsija csak 37 cent volt, a kinyomtatott dal új karriert és új nevet hozott neki: eredeti Beilin helyett Berlinként jelent meg neve, s ezután már ezt használta.
Először szövegíróként alkalmazták, hamarosan azonban már ő zenésítette meg saját szerzeményeit. Karrierjét 1911-ben az Alexander,s Ragtime Band indította el, amely a harmincas évekig különböző feldolgozásokban négyszer vezette az amerikai listát és még a negyvenes években is feltűnt rajta. Berlin ettől kezdve ontotta a musicaleket és a filmzenéket, amelyeket gyorsan el is felejtettek, a bennük felcsendülő dalok azonban örökzöldnek bizonyultak.
Ilyen volt a Fred Astaire szteptáncával kísért Cheek to Cheek, a There,s No Business Like Show Business, a második amerikai himnuszként emlegetett Isten áldja Amerikát és természetesen a Fehér Karácsony. A zenetörténet legtöbbször felvett dala először az 1942-es Holiday Inn című filmben csendült fel Bing Crosby előadásában, s ötven évig ez számított a világ legkelendőbb kislemezének.
Érdekesség, hogy a legismertebb verziót Crosby csak 1947-ben énekelte fel, amikor az eredeti szalag a sűrű használattól öt év alatt tönkrement. Berlin konzervatív ember volt, s nem nyerte el tetszését a dal Elvis Presley által énekelt verziója, így levélben követelte - persze sikertelenül - a rádióktól, hogy ne játsszák le a lemezt. A dalért Oscar-díjat is kapott, a mai napig ő az egyetlen, aki a borítékot felnyitva saját nevét olvashatta fel.
Berlin szerzeményeire alapozva előbb saját kiadót hozott létre, majd színházat is vásárolt. Milliókat keresett, de vagyona jelentős részét jótékony célokra adományozta. Dalaival szerzett magának világhírt Judy Garland, Al Jonson, Bing Crosby. A sikert sikerre halmozó komponista utolsó, 1962-es musicalje rossz kritikát kapott, s ő ezután eltűnt a nyilvánosság elől. Még a századik születésnapján rendezett ünnepségeken sem tűnt fel, egy évvel később 101 évesen, 1989. szeptember 22-én hunyt el New Yorkban.
Élete végéig nem tanult meg sem kottát írni, sem olvasni, szerzeményeinek száma mégis ezer fölött jár. A komponáláshoz egy különleges zongorát használt, amely a (jobbára fekete) billentyű leütésekor más hangnemben szólaltatta meg a hangot. A dallamot hivatásos hangszerelőnek, majd később zenei képzettséggel rendelkező titkárának fütyülte vagy pöntyögte le a dallamot, akik lekottázták azt.
Egy ideig foglalkozott a gondolattal, hogy zenét tanuljon, de aztán rájött: ennyi idő alatt dalokat diktálva sokkal több pénzt kereshet...
