Джейкоб Джозеф родился в бедной семье, его отец был рабочим на пивоварне. Учился в знаменитой Воложинской ешиве, затем служил раввином в нескольких литовских местечках. Слава его как выдающегося проповедника росла, и в 1883 г. еврейская община Вильны (Вильнюса) избрала его своим магидом. В то время несколько ортодоксальных конгрегаций Нью-Йорка, созданных выходцами из Российской империи, решили объединиться в ассоциацию под властью единого религиозного авторитета. С этой целью они создали пост Главного раввина Нью-Йорка и разослали приглашения нескольким известным европейским раввинам занять этот пост. Рабби Джозеф откликнулся на это предложение и в 1888 г. приехал с семьёй в Нью-Йорк. На этом посту р. Джозеф достиг определённых успехов в организации кашрута, а также создал "Этц-Хаим" - первую ешиву в Нижнем Ист-Сайде. Основанная как начальная школа типа хедера, она со временем стала ядром Ешива-колледжа. Однако рабби Джозефу не удалось примирить между собой различные фракции общины, и через шесть лет его должность была ликвидирована.

Имя Джейкоб - английский вариант библейского имени Иаков. Фамилия Джозеф - от английской формы библейского имени Йосиф.

Вне Нью-Йорка

Школа им. р. Джейкоба Джозефа есть также в г. Эдисон, Нью-Джерси.