Salom Rabinovitz néven született, a héder (zsidó egyházi elemi iskola) után orosz gimnáziumban tanult és ekkoriban jelentek meg első cikkei is. 1880 és 1883 között Lubniban rabbiként működött. Eleinte héber és orosz nyelven írt, majd 1883-tól már csak jiddis nyelven alkotott, ekkor kezdte a Sólem Aléhem írói nevet is használni.

1883-ban az atyai tilalom ellenére megnősült, apósa halála után tekintélyes vagyont örökölt. 1888-ban Kijevbe költözött és megindította a Di Jidise Folkszbibliotek (Zsidó Népkönyvtár) antológiasorozatot, amelyben több novellája és két regénye is megjelent. A sorozat sok kiadással, ám kevés bevétellel járt, és részben emiatt, részben sikertelen üzleti vállalkozásai miatt az író csődbe jutott, pénze elfogyott.

1890-ben Párizsba utazott, ahonnan egy év múlva tért haza. Üzleti terveiről végleg letett, népszerű és sikeres írásai hatására az irodalomnak szentelte magát. 1892 és 1895 között készültek el A kisemberek városa és a Menáhem-Mendl novellaciklus darabjai, valamint a Tóbiás, a tejesember című műve, a Hegedűs a háztetőn című musical alapja. 1905-ig rendszeresen publikált lapokban, regényei, novellái, színművei láttak napvilágot, gyermekeknek, kamaszoknak is alkotott.

Sikerének egyik titka az volt, hogy belülről ismerte az általa ábrázolt világot, hősei környezetének nyelvét beszélték, és Sólem Aléhem szeretettel, melegséggel és nem kevés humorral, bölcs iróniával írt sorsukról, tragédiákról és örömeikről.

Az 1905-ös kijevi pogrom elől családjával New York-ba utazott, 1907-ben tért vissza Európába. 1908-ban egy oroszországi felolvasó-körút közben tuberkulózist diagnosztizáltak nála. A hosszú kezeléssorozat során Olaszországba is eljutott, ekkoriban családját a baráti és rajongói adományok tartották el. Lábadozása idején folytatta az írást, ekkor készült el két máig is népszerű műve, az anekdotikus elbeszélésekből álló A Motl gyerek és a szerelmi témájú lírai regény, az Énekek éneke. 1914-ben New Yorkban telepedett le, a következő évben szintén tüdővészben meghalt egyik fia. Az író depresszióba esett, állapota gyorsan romlott, és 1916. május 13-án ő is meghalt.

Noha írásai ma is népszerűek, igazi hírnevét a műveiből készült Hegedűs a háztetőn című musicalnek köszönheti. A Jerry Bock zenéjével készült darabot 1964 szeptemberében állították színpadra a Broadway-n, 1971-ben látványos film készült belőle.

A musicalt Magyarországon is több színház mutatta be, G. Dénes György és Reményi Gyenes István fordításában, Tevjét olyan kiválóságok játszották, mint Bessenyei Ferenc, Huszti Péter, Dunai Tamás és Gregor József. 2005-ben a Zsidó Nyári Fesztivál keretében Sólem Aléhem Marienbád című darabja eredeti nyelvén, jiddisül szólalt meg.