Гарри иммигрировал в США вместе с родителями в 1900 г. Семья поселилась в Нижнем Ист-Сайде. Гарри окончил Сити-колледж (1911) и Школу права (1915) в Нью-Йорке, завершил образование в Школе коммерции Нью-Йоркского университета в 1918 году. С 1917 года Херсковиц работал в Налоговом управлении США, последняя должность - директор отдела аудита в налоговой службе Нижнего Манхэттена. Он написал серию статей о налоговом законодательстве, участвовал во внесении изменений в эти законы, читал лекции по экономике и налоговому праву. Гарри Херсковиц был также видным деятелем в сфере еврейского образования в Нью-Йорке. Он был, в разное время, директором системы еврейских школ "Torah Umesorah", директором "Дома сыновей и дочерей Израиля", президентом и председателем Совета директоров ешивы "Ohel Torah", преподавателем иврита, английского и математики, а позже директором Школы р. Джейкоба Джозефа, казначеем фонда "Ezras Torah", президентом ешивы "Torah Vodaas" и др. Херсковиц баллотировался (неудачно) в Ассамблею штата Нью-Йорк от Демократической партии, позже отказался от поста федерального судьи, предложенного ему президентом Рузвельтом. Он умер от сердечного приступа, на поминальной службе присутствовала Элеонора Рузвельт. Похоронен на Вашингтонском кладбище в Бруклине

Имя Гарри - английская форма германского имени Heimirich (позже Heinirich), состоящего из элементов heim - "дом" и ric - "власть". Фамилия Гершкович произошла от идишского мужского имени Гирш, которое переводится как "олень".