Тензер окончил школу им. Стайвесанта (1923) и Школу права Нью-йоркского университета (1927). С 1929 г. занимался адвокатской практикой, в 1937-м организовал юридическую фирму в Нью-Йорке и стал её старшим партнёром. В 1940-60 гг. он был президентом Barton's Candy Corporation. Герберт Тензер был избран в Конгресс США в 1964 г. от округа Нассау на Лонг-Айленде, прилегающего к восточной границе Нью-Йорка. Проработав в Конгрессе два срока (1965-69), он решил завершить политическую карьеру "по личным причинам". С 1965 г. Тензер был членом, а в 1977-89 гг. - председателем Попечительского совета Университета Ешива, принимал активное участие в создании его новых факультетов - Медицинского колледжа им. Эйнштейна, Школы бизнеса им. Сая Симса и Школы права им. Кардозо. Участвовал также в работе многих еврейских и гражданских организаций Большого Нью-Йорка.

Имя Герберт - германского происхождения, составлено из слов hari - "хозяин" и berht - "знаменитый". Фамилия Тензер происходит от идишского слова танцер - "танцор" (может также означать "хасид").