A születési anyakönyvbe James Charles Rodgers nevet jegyezték be, amikor 1897. szeptember 8-án a Mississippi állambeli Meridanban világra jött. Anyját korán elvesztette rokontól rokonig csapódott.. Tizennégy éves korában már munkába állt, nehéz fizikai munkát végzett a vasútnál, de közben zenélgetett is, különböző utazó showműsorokban próbálkozott.
A zene akkor vált élete főszereplőjévé, amikor a húszas évek elején tuberkulózisban megbetegedett, s kénytelen volt abbahagyni a fizikai munkát, zenélt egy ideig, majd egy időre ismét a vasút következett.
Azután 1927-ben eljutott az észak-karolinai Asheville-be, ahol a helyi rádióban énekelhette dalait. Rodgers nemcsak a klasszikus countryt énekelte, hanem hillbillyt, bluest - amint arról első dalainak címe is tanúskodik: TB Blues, Traveling Blues, Waiting for a Train.
A dzsessz és a popzene is belefért zenei világába. Együttest alakított, amelyet Rodgers Tenneva Ramblersnek nevezett el. Első felvételüket 1927 augusztusában készítették a Victor kiadónál a Sleep Baby, Sleep és a The Soldier,s Sweatheart című dalokat rögzítették, amelyek még abban az évben megjelentek lemezen.
Újabb felvételei készültek ennél a lemezcégnél, köztük a Blue Yodel és a T for Texas. Ezek a felvételek a következő néhány évben félmillió példányban fogytak. Egyszer Louis Armstroggal és feleségével, Liliannel is készített közös felvételt.
A harmincas évekre egyre súlyosabbá vált egészségi állapota, de nem adta fel. Texasban, San Antonióban rádióműsorban szerepelt, s ennek nyomán nagy sikert lett a T for Texas, amelyet egyébként a Victor kiadó nem akart lemezre venni.
Újabb fellépésekre utazott New Yorkba 1933. májusában, s felvette utolsó dalait, köztük a Mississippi Delta Bluest és a Years Ago-t, majd 1933 május 26-án meghalt.
Jimmie Rodgers 1961-ben elsők között került a countryzene halhatatlanjai közé, majd néhány év múlva a halhatatlan dalszerzők közé, végül a következő generációra gyakorolt hatásáért a rock and roll halhatatlana lett. A Blue Yodel No 9-et a Rolling Stone magazin beválogatta minden idők 500 legjobb dala közé.