Джеймс Фелт в детстве мечтал стать раввином. Он окончил Школу финансов и коммерции Уортон Пенсильванского университета в 1924 году. Следуя по стопам своего деда и отца, он начал заниматься недвижимостью. Некоторое время он работал в компании своего отца, но в 1932 г. основал собственную фирму, которая владела недвижимостью на Пятой авеню, в Питер-Купер-Виллидж и в Стайвесант-Таун.

Будучи президентом James Felt & Co. и Tenant Relocation Bureau, Фелт занимал также различные должности в городском правительстве. Он был членом Городского жилищного  управления (1954-56), Комитета мэра по улучшению жилищных условий, Конференции Аверелла Гарримана по проблемам старения и др.

В 1956 г. мэр Роберт Вагнер назначил Фелта  председателем Комиссии по городскому планированию. Он внёс большой вклад в разработку и осуществление городских законов о зонировании 1961 года. Проработав на этом посту до 1963 года, Фелт оставался членом комиссии в течение следующих двух лет. За работу в этой Комиссии он получил от мэра Вагнера бронзовый медальон города Нью-Йорка.

В 1967 году мэр Джон Линдси назначил Фелта председателем правления Корпорации общественного развития. На этом посту Фелт служил "главным коммивояжёром" города, стремясь привлечь в него новые бизнесы. Он уделял много времени участию в различных благотворительных организациях. Будучи вице-президентом Федерации еврейских филантропов, он участвовал в создании штаб-квартиры Федерации на 59-й Восточной улице, 130. Джеймс Фелт и его брат Ирвинг Митчелл Фелт, председатель совета директоров Madison Square Garden, внесли большой вклад в строительство нового здания Мэдисон-Сквер-Гарден.

С 1947 г. Фелт был членом и одно время вице-президентом Попечительского совета Медицинского центра Маунт-Сайнай. Он был членом правления Henry Street Settlement (1939-68), принимал активное участие в работе Объединённого Еврейского Призыва и Общества продвижения иудаизма, был членом Совета по еврейскому образованию, поддерживал Национальную городскую лигу и был президентом Городской лиги Большого Нью-Йорка (1952).
 

Имя Джеймс - английский вариант библейского имени Иаков. Фамилия Фельт произошла от идишского слова фельд - "поле".