Jack è uno dei volti più amati della televisione americana degli anni '60-'70.

Abbonato agli Emmy Awards (dieci nomination e due vittorie in poco più di dieci anni, ma ha vinto anche un Golden Globe), l'attore è legato principalmente a due serie tv, che ne hanno decretato la popolarità: l'adattamento televisivo de La strana coppia di Neil Simon, dove interpreta Oscar, il giornalista sportivo, e Quincy, la serie sul patologo/detective. Due ruoli che lo hanno impegnato dal 1970 al 1983.

Al cinema lo si è visto poco e praticamente sempre in ruoli da caratterista, ma rimane memorabile la sua interpretazione in La parola ai giurati di Sidney Lumet (1957). Nella versione cinematografica di La strana coppia il suo ruolo, quello di Oscar, passa a Walter Matthau.

Di recente lo sì è visto come guest star nel serial Crossing Jordan e in Camelot - Squadra Emergenza.

Klugman si è sposato e separato, e uno dei suoi due figli, Adam, ha recitato ne La strana coppia.

Fumatore incallito, ha avuto un tumore alla gola nel 1974 e anni dopo ha perso una corda vocale per via del tumore, ma ha continuato a recitare sia in televisione che a teatro sebbene con una voce stridula e gracchiante.

Il suo cancro è stato incluso anche nella trama de La strana coppia: ancora insieme, film TV in cui si riformò la coppia con Tony Randall, e in cui Oscar è in ospedale dopo aver subìto un'operazione chirurgica.

Nel 2005 l'attore ha pubblicato Tony And Me: A Story of Friendship, un libro basato sulla sua lunga amicizia con Tony Randall.