Még nem volt egyéves, amikor szülei Ukrajnából Amerikába, San Franciscóba költöztek. Hétévesen a helyi konzervatórium tanulója volt, egy évvel később kezdett hegedülni. Tizenhat éves korában már a San Franciscó-i Filharmonikusokkal, majd Otto Klempererrel és a Los Angeles-i Filharmonikusokkal koncertezett. Először 1943-ban bűvölte el játékával a New York-i Carnegie Hall hallgatóságát, karrierje során itt lépett fel a legtöbbször, s az ötvenes években ő mentette meg a lebontásra ítélt épületet. Több évtizedig volt a Carnegie Hall elnöke, az egyik terem ma az ő nevét viseli.

1948-tól Európában is turnézott, s a legnagyobb fesztiválokra hívták - egyik legemlékezetesebb koncertjét a Bach halálának 200. évfordulójára rendezett eseményen adta 1950-ben. A második világháború után első amerikaiként ő lépett fel a Szovjetunióban (több mint egy évtizedes késéssel, 1956-ban), többször játszott Magyarországon is. Németországba ugyanakkor csak 1999-ben utazott először, mert a holokauszt után megfogadta, hogy a fasizmus áldozatai iránti szolidaritásból nem folytat művészi tevékenységet Németországban. 1979-ben meghívták Kínába is, amit csak azzal a feltétellel fogadott el, hogy filmeseket is magával vihet; a koncertkörútról készült Maótól Mozartig című dokumentumfilm Oscar-díjat nyert.

A virtuóz Stern a múlt század legnagyobb művészeivel és dirigenseivel lépett fel, számos komponista - így például Leonard Bernstein és Krzysztof Penderecki kifejezetten az ő számára írtak darabokat. Előadói palettája szinte az egész zeneirodalmat felölelte Vivalditól a kortárs zenéig. A hatvanas évek elején zongoratriót alapított, Eugene Istomin zongoristával és Leonard Rose csellistával elsősorban Beethoven és Bramhs műveit adták elő. Stern nagy hangsúlyt fektetett a komolyzene népszerűsítésére, ezért gyermek- és családi hangversenyeket szervezett, több fiatal pályakezdőt támogatott (ő fedezte fel például Yo-Yo Ma-t és Itzhak Perlmant), s tagja volt a Lyndon Johnson amerikai elnök melletti tanácsadó testületnek.

A zene nagyköveteként szinte élete végéig koncertezett, karrierje csúcsán évente kétszázszor, s túl a hetvenen is csaknem százszor lépett fel. Hegedűjátékát több mint száz hangfelvétel őrzi, ezeken 63 zeneszerző közel 200 műve hallható. Több filmben is szerepelt, így a Hegedűs a háztetőn 1971-es filmváltozatában ő játszotta a hegedűszólót, A szív dallamaiban pedig magát alakította. 1991-ben az Öböl-háború napjaiban egy jeruzsálemi koncertjét rakétariadó szakította félbe, a zenekar tagjai lementek a pódiumról, a közönség gázálarcot vett fel, ő viszont magányosan végigjátszotta Bach egyik szóló hegedű-partitáját. Hangszerei kisebb vagyont értek, birtokában volt két Guarneri del Gesu, s egy Stradivari is. Szabadidejében szívesen teniszezett és kártyázott, szerette a labdarúgást és a baseballt, de a film, a fizika és a kibernetika is érdekelte.
A múlt század egyik legnagyobb hegedűvirtuóza 2001. szeptember 22-én halt meg New York-ban, szívelégtelenség következtében.