Джозеф вырос в богатой семье (один из его братьев, Льюис, - крупнейший финансист и филантроп). Он получил образование в престижных Коллегиальной школе (Нью-Йорк) и Школе Хотчкисс (Коннектикут). Затем учился в Йельском университете, а летом работал в компании Webster Tobacco, принадлежавшей его отцу.

Окончив в 1935 г. университет, Джозеф работал на табачном заводе Uppmann Cigar на Кубе. Во время Второй мировой войны Калман служил в армии США, затем работал в табачной компании "Бенсон и Хеджес" исполнительным вице-президентом. В 1954 г., когда его отец и дядя Хауард С. Калман завладели контрольным пакетом акций "Филип Моррис", Джозеф-третий был назначен вице-президентом компании.

В 1957-м он стал президентом и главным исполнительным директором "Филип Моррис", в 1967-м - председателем правления и генеральным директором, и занимал эти должности до 1978 года. За эти годы бренд Philip Morris Marlboro стал самым популярным брендом сигарет в Соединенных Штатах. Джозеф Калман-третий считался главным защитником сигаретной промышленности от антитабачного движения.

Джозеф проявлял большой интерес к теннису, был председателем турнира US Open в 1969 и 1970 годах. В 1982-88 годах был президентом Международного теннисного зала славы, в который он сам был введён в 1990 году. Он был также сопредседателем Совета почётных попечителей Еврейского центра Хэмптонов на Лонг-Айленде.
 

Имя Джозеф - английская форма библейского имени Йосеф, означающего "будет добавлен". Имя Фредерик - от древнегерманского имени Frederich: frithu - "мир" и  riki - "богатый" или "вождь". Еврейская фамилия Каллман происходит, вероятно, от идишского имени Калман, восходящего к греческим элементам kallos - "красота" и onyma - "имя".