Прадед Джека Джозефа, Джейкоб Джозеф-ст., был Главным (ортодоксальным) раввином Нью-Йорка. Его дед Рафаэль Джозеф возглавлял ешиву, названную в честь прадеда. Отец Джека шесть раз избирался сенатором штата Нью-Йорк, затем занимал должность городского контролёра. Джек учился в Коламбия-колледже, но, не закончив его, поступил в корпус морской пехоты. Участвовал во Второй мировой войне на Тихоокеанском театре, дослужился до капитана. Погиб в Битве за Гвадалканал.

Имя Джейкоб - английский вариант библейского имени Иаков. Фамилия Джозеф - от английской формы библейского имени Йосиф.