Джозеф родился в семье иммигрантов, державших магазин в Нижнем Ист-Сайде. Получил степень бакалавра в Колумбийском университете, один год проучился в Школе права Коламбии. С 1911 г. работал в брокерской фирме "Hallgarten & Company". В 1927 г. основал, вместе с Морисом Вертхаймом, инвестиционный банк "Вертхайм и Ко.", а после 1950 г. возглавил этот банк. Одним из первых на Уолл-стрите создал профессиональный аналитический отдел. В 1938-44 и в 1947-53 гг. входил в число управляющих Нью-Йоркской биржи. С 1941 г. Джозеф Клингенстайн был членом попечительского совета больницы "Маунт-Сайнай", позже её вице-президентом (1944-56) и президентом (1956-62). Был также членом совета Федерации еврейских филантропов, почётным председателем нью-йоркского отделения Американского еврейского комитета и членом совета Храма Эману-Эл. Почётный доктор гуманитарных наук Медицинской школы "Маунт-Сайнай" (1975). Именем Джозефа и его жены Эстер назван Клингенстайн-центр в Учительском колледже Колумбийского университета.

Имя Джозеф - английская форма библейского имени Йосиф. Фамилия Клингенштайн - немецкая, состоящая из корней klinge - "журчащий ручей" и stein - "камень".