Гилфорд вырос в Вильямсбурге (Бруклин), его родители - румынские евреи. В юности проявил себя как талантливый пародист, имитатор и мим, выступал на любительской сцене, затем в ночных клубах, в комедиях и водевилях на еврейских сценах Второй авеню. В 1940-х годах играл в нескольких офф-Бродвейских спектаклях, снимался в кино. В эпоху маккартизма его актёрская карьера прервалась - в 1953 г. его имя попало в "чёрные списки" Голливуда. Лишь в конце 50-х Гилфорд снова стал получать роли - сначала на Бродвее, затем в кино и на телевидении. В 70-х и 80-х он снялся во многих популярных телесериалах, получил премию "Эмми" (1979), неоднократно номинировался на премии "Оскар" (за роли второго плана) и "Тони".

Имя Джейкоб (уменьшительное - Джек) - английская форма библейского имени Иаков. Имя Эрон - английская форма библейского имени Аарон. Английская фамилия Гилфорд -  - топонимическая, образована от названия местности в графстве Суррей. Фамилия Геллман произошла от идишских слов гель - "светлый" и ман - "человек".