Якоб Шифф иммигрировал в США в 1865 г. Потомственный банкир, получивший прекрасное общее и еврейское образование, он вскоре стал партнёром в брокерской фирме. В 1875 г. он женился на Терезе Лоуб, дочери Соломона Лоуба, главы банкирского дома “Кун, Лоуб и Ко.", и с 1885 г. возглавил фирму. Под руководством Шиффа банк вкладывал огромные средства в "хай-тек 19-го века" - металлургические, электрические, телефонные, телеграфные, железнодорожные компании, способствуя быстрой индустриализации США. Фирма также активно участвовала в международных финансовых операциях.

Особую известность принёс Шиффу выпуск облигаций на сумму 200 млн. долларов в пользу Японии во время русско-японской войны. Шифф ненавидел царский режим за его антисемитскую политику, неоднократно отказывался участвовать в займах для России и отговаривал от этого других финансистов. В то же время он оказывал щедрую помощь группам еврейской самообороны и жертвам погромов.

В 1906 г. он стал одним из основателей Американского еврейского комитета и активно участвовал в его усилиях по отстаиванию прав евреев в США и за границей. Так, в 1911 г. Шифф сыграл видную роль в борьбе за денонсацию торгового договора между Россией и США от 1832 г. ввиду антисемитской политики российских властей и дискриминации ими евреев - граждан США. В 1914 г. он выступил одним из инициаторов создания Комитета по распределению фондов помощи евреям, пострадавшим от войны (с 1931г. - Джойнт). В 1917 г. он предоставил заём Временному правительству России.

Колоссальная филантропическая деятельность Шиффа, на которую он выделял десятую часть доходов, охватывала многие сферы жизни. Он поддерживал еврейские общинные, просветительские и религиозные организации различных направлений, финансировал новый перевод Библии на английский, участвовал в финансировании Еврейской Энциклопедии, больницы им. Монтефиоре в Нью-Йорке, создал Центр помощи беженцам (Schiff Refugee Center) на острове Уорд, жертвовал крупные суммы американским университетам, Красному Кресту и т.д. Шифф был вице-президентом Торговой палаты США, входил в Городской совет Нью-Йорка по образованию и др.

В 1908 г. Шифф посетил Эрец-Исраэль и пожертвовал значительные суммы на ряд проектов, хотя в целом относился к сионизму отрицательно, считая идеи Теодора Герцля утопичными,  а сионизм - несовместимым с американским гражданством. Поэтому многие евреи обвиняли его в антисемитизме. В то же время Шифф, наряду с Ротшильдами, Уорбергами и др., служил объектом многочисленных антисемитских нападок, основанных на "теориях заговора" и фальшивках вроде "Протоколов сионских мудрецов". Эти домыслы ссылались не только на политически мотивированные займы разным странам, но и на личные встречи Шиффа с президентами Вудро Вильсоном и Теодором Рузвельтом, английским королём Эдуардом VII, японским императором и т.д.

Имена Джейкоб и Якоб - английский и немецкий варианты библейского имени Яаков. Имя Генри (Гарри) - английская форма германского имени Heimirich (позже Heinirich), состоящего из элементов heim - "дом" и ric - "власть". Имя Гирш означает "олень" на идиш. Фамилия Шифф произошла от немецкого слова Schiff - "корабль".