Rákosligeten született 1940. augusztus 8-án. Nem készült énekesnek, hegedülni tanult, amikor azonban a helybeli katolikus templom kántora 1956-ban disszidált, időnként ő helyettesítette. Egyszer meghallotta egy zenetanár, s rávette: felvételizzen a budapesti konzervatóriumba.

1957-ben felvették, de három év múlva otthagyta az intézményt és a Liszt Ferenc Zeneművészeti Főiskola ének tanszakára felvételizett. A vizsga sikerült ugyan, de a Zeneakadémián még kevesebb ideig bírta.

Énekesi pályája tulajdonképpen a Magyar Néphadsereg Művészegyüttesének férfikórusában kezdődött, amelynek 1958 óta tagja volt. 1964-ben innen ment szegedi próbaéneklésre, ahol azután tizennégy esztendeig dolgozott a legendás karmester, Vaszy Viktor irányítása alatt. 1987-ig működött mint a Szegedi Nemzeti Színház magánénekese, 1976-tól a budapesti Operaház állandó vendégművésze, 1987-89-ben a győri Kisfaludy Színház tagja, ezután a szegedi operatársulat igazgatója volt.

Minden fellépését csodálatosan kiegyenlített hang, mély átélés és nagyszerű karakter-alakítás jellemezte. Az opera-repertoár minden nagy basszus szerepét elénekelte; érdekesség, hogy Verdi Falstaffja ugyan nem basszus-szólam, Gregor szegedi fellépéseinek mégis egyik legnagyobb sikerét aratta vele. Először nem akarta vállalni, mert maga sem gondolta, hogy képes lesz ilyen magas hangokat kiénekelni, ráadásul ilyesmivel előtte basszista még nem próbálkozott.

Pályafutása első felében nem énekelt külföldön, azt mondta, neki már Hegyeshalomnál honvágya van. Utóbb aztán engedett az egyre szaporodó felkéréseknek, énekelt a milanói Scalában, a New York-i Metropolitanben, fellépett Európa szinte minden operaházában. Az operákat eredeti nyelven, olaszul, németül, oroszul, csehül, az oratóriumokat latinul énekelte.
Száznál több lemezt készített, több ezer operaelőadásban és hangversenyen működött közre, számos rádió- és tévéfelvétele készült. 2003-ban 1 forint jelképes gázsiért állította színpadra Verdi Don Carlos című operáját a Szegedi Nemzeti Színházban.

A budapesti Broadway-n, a Nagymező utca aszfaltján ő is elhelyezte lábnyomát, ezzel tagja lett a magyar előadóművészet halhatatlanjai örökös társulatának. Mindeközben tősgyökeres szegedi maradt, 2003-ban a város díszpolgára lett. Ha csak tehette, villamossal közlekedett, kiélvezve népszerűségét, a szegediek nemcsak művészetéért, hanem természetes közvetlenségéért is szerették.

Művészetét rangos kitüntetésekkel ismerték el: 1974-ben Liszt díjat kapott, 1979-ben érdemes művész, 1983-ban kiváló művész lett, a Kossuth-díjat 1999-ben kapta.

2006 szeptemberében bejelentette visszavonulását, október 22-én a Magyar Köztársasági Érdemrend középkeresztje a csillaggal (polgári tagozat) kitüntetésben részesült. Ezt betegsége miatt már felesége vette át, Gregor József 2006. október 27-én hunyt el Szegeden.

2008-tól egy általános iskola viseli nevét a csongrádi megyeszékhelyen, ahol tavasszal emlékkiállítást is rendeztek születésének 70. évfordulójához kapcsolódva. Az énekes személyes tárgyait, a pályafutásához kapcsolódó dokumentumokat, jelmezeket, színházi plakátokat és fotókat felvonultató tárlat anyagát - több Csongrád megyei könyvtárat követően - bemutatják a művész szülőhelyén, Rákosligeten a Gregor József Általános Iskolában is, végül visszatér Szegedre.

A Kossuth-díjas művész 70. születésnapjára bronz mellszobrot is emeltek tiszteletére utolsó szerepének - a Csárdáskirálynő Leopold Mária hercege - helyszínétől, a szegedi Dóm tér színpadától száz méterre a Nemzeti Pantheonban. Bánvölgyi László alkotását vasárnap avatják fel, az ünnepséget követően a szegedi városháza udvarán, a Gregor József nevéhez kötődő Muzsikáló udvar programsorozat keretében emlékkoncertet is rendeznek.