Londonban született 1958. január 24-én Julian Miles Holland néven, amely az évek során Joolsra "egyszerűsödött". Tizenhatéves volt, amikor aktív közreműködésével megszületett a Squeeze együttes, amelyet több éven szolgált becsülettel.
A boogie, a rock and roll, a rhythm and blues és egy kicsit a jazz éltette kezdetektől. Példaképei között Jerry Lee Lewist és Lee Dorseyt emlegette elsősorban.
A lendületes és erőteljes stílusban játszó zongorista a londoni East End kocsmáiból és olcsó szórakozóhelyeiről startolt. Hamar lehetett látni, hogy Holland nem tekinti végállomásnak ezt a zenekart, amely tulajdonképpen tényleg nem csinált semmi különöset. Amikor elkészült a banda harmadik albuma, vette a kalapját és a szólókarriert választotta. Az évek során zenés fegyvertárát Hammond-orgonával gazdagította (Kitűnően bendzsózik is, bár ezt kevesen tudják róla.).
Az 1981-ben megjelent első szólóalbuma még nem igazolta várakozásait, de az 1984-ben megjelent Jools Holland Meets Rock ,a, Boogie Billy az általa választott stílusok nagyszerű összegzése, szép szakmai siker volt. A közönség nem kapkodott érte, s ez elmondható egész pályafutásáról. Jó színvonalú lemezek, kitűnő koncertek követték egymást, de ez a két tevékenysége "elment egymás mellett".
A következő nagyszerű albumára több mint 10 évet kellett várni: a Solo Piano nagyon profi munka volt. Azután megint egy évtized telt el, mire ismét jött az újabb - s megint csak szakmai - durranás, a Moving Out To The Country.
A derék billentyűs nem szorult vigasztalásra, nem érezte magát mellőzöttnek, 2003-ban a királynő is elismerte zene munkásságát, amikor a Brit Birodalom Tisztje kitüntetést adományozta neki.
Az új évezredet saját, rock and rollt és boogie-woogie-t játszó bandájával bulizta végig; Small World Big Band című lemezsorozata kellemes hallgatnivaló volt. Ennek harmadik albumán közreműködött Eric Clapton, Peter Gabriel, Ron Wood és Nick Cave. A sorozat korábbi lemezeinek jeles zenészvendége volt Taj Mahal, Stevie Winwood, Van Morrison, John Cale és Mark Knopfler. Nagy siker volt néhány éve Tom Jonesszal közösen kiadott albuma. Jelenleg már több mint húsz korongnál tart. Több film készült közreműködésével.
A félszázadik születésnap esztendejében messzi országokban turnézik: jelenleg Ausztráliában és Új-Zélandon szerepel, majd európai nagyvárosok - köztük Brüsszel és Amszterdam - következnek.