Kline klasszikus zongorát és zeneszerzést tanult az egyetemen, de végül mégis a színészet mellett döntött. 1970-ben ösztöndíjat nyert egy híres New York-i színi iskola drámatagozatára, tanulmányai végeztével osztálytársaival társulatot alapítottak. 1973-ban Moliere A fösvényében debütált a Broadway-n, két évvel később kapta első musicalszerepét. Színpadi színészként két alkalommal is elnyerte a színházi Oscarnak nevezett Tony-díjat musical kategóriában (1978, 1980), repertoárján a legnagyobb klasszikus férfiszerepek, köztük elsősorban Shakespeare-, illetve Csehov-hősök szerepeltek. 2001-ben együtt játszott Meryl Streeppel Csehov Sirályában, idén novemberben a Cyrano címszerepe lesz a övé Jennifer Garner partnereként. A 188 centiméteres színészt soha nem zavarta magassága, már pályája elején azt mondta, hogy partnerei felágaskodnak, ha akarnak tőle valamit.
1981-ben egy tévés szappanoperában léphetett a szélesebb nyilvánosság elé. Egy évvel később kezdődött filmes pályafutása, amikor Alan J. Pakula neki adta Nathan szerepét William Styron Sophie választása című regényének filmváltozatában, s rögtön Arany Glóbusz-díjra nevezték. A 80-as, 90-es években Lawrence Kasdan rendezésében több műfajban is kipróbálhatta magát (A nagy borzongás, Silverado, Grand Canyon, Francia csók), az igazi sikert A hal neve: Wanda című krimivígjáték hozta meg számára 1988-ban. Alakításáért megkapta a legjobb férfi mellékszereplőnek járó Oscar-díját, s azon kevesek egyike lett, aki a legrangosabb filmdíjat vígjátékban nyerte el. A hal neve: Wanda szinte teljes gárdája tíz évvel később a Fészkes fenevadak című vígjátékra gyűlt újra össze.
Kline kétszer is játszott amerikai elnököt és annak hasonmását: 1993-ban a Dave című vígjátékban, majd a Vadiúj vadnyugatban. Az utóbbi film nem életművének csúcsa: 2000-ben Will Smith-szel a filmvászon legrosszabb színészpárosának bizonyultak, és a rendező, a forgatókönyvíró, a filmzene és a film maga is megkapta a legpocsékabb produkciónak járó Arany Málna díjat.
Kline szerepelt politikai drámában (a Steven Biko dél-afrikai polgárjogi harcosról szóló Kiálts szabadságért), a Chaplinben Douglas Faibanks, a De-lovely című filmben Cole Porter megszemélyesítője volt, a Steve Martin-féle Rózsaszín párducban - mely messze elmaradt az európai eredetitől színvonalában - a leghálátlanabb szerepet, a felügyelő főnökét kapta. Játszott a Szentivánéji álom modern változatában (1999), idén a Kenneth Branagh által rendezett Ahogy tetszikben.
Az Oscar-díjas színész egyebek között visszautasította a Batman és A cápa főszerepét is, innen ered Kevin "Decline" gúnyneve. A válogatással azonban nincs mindig szerencséje, a közvélekedés szerint színészi teljesítménye általában jobb, mint a film, amelyben játszik, a Royal Shakespeare Company igazgatója egyenesen "Laurence Olivier egyetlen utódának" nevezte. Számos kitüntetése mellett övé a 2272. csillag a hollywoodi hírességek sétányán és róla nevezték el egykori iskolája színházát. Filmes pályafutásának több magyar vonatkozása is van, Az élet háza című filmjében Zsigmond Vilmos, a Császárok klubjában Koltai Lajos volt az operatőr.
Házassága előtt több filmbéli partnerével is szorosabb kapcsolatba került, mióta azonban 1989-ben feleségül vette Phoebe Cates színésznőt, botrányok nélküli magánéletét félti a nyilvánosságtól.