Карле окончил в 1933 г. среднюю школу им. Линкольна в Бруклине, потом учился в нью-йоркском Сити-колледже, где изучал главным образом химию и биологию и в 1937 г. получил степень бакалавра. Он продолжил образование в Гарварде, где через год ему была присуждена магистерская степень по биологии. В течение следующих полутора лет Карле работал в Департаменте здравоохранения штата Нью-Йорк в Олбани, а затем поступил в Мичиганский университет. В 1943 г. он стал магистром, а в следующем году за диссертацию по газовой электронографии получил докторскую степень по физической химии.

Во время Второй мировой войны Карле был участником проекта военно-морских сил США, а позднее - ассистентом-исследователем Манхэттенского проекта по созданию атомной бомбы. После окончания войны он вошёл в штат военно-морской научно-исследовательской лаборатории в Вашингтоне. Здесь он снова встретился с Хербертом Хауптманом, своим сокурсником по Сити-колледжу. 50-е годы прошли под знаком их сотрудничества: оба работали над созданием прямого метода расшифровки трёхмерных молекулярных структур с помощью рентгеновской кристаллографии.

Метод, разработанный Карле и Хауптманом, позволял непосредственно соотносить интенсивность и размещение точек на фотографиях сложных молекул с расположением атомов внутри молекулы. В 1953 г. они опубликовали статью о результатах своей работы, которая была встречена с недоверием - мало кто из химиков разбирался в математическом аспекте этой процедуры. В результате Карле и Хауптман не получили никакой поддержки со стороны коллег, и прямой метод расшифровки структур оставался без применения в течение 15 лет. Признание проделанной ими работы пришло в конце 60-х годов, когда жена Карле, Изабелла Лугоски, физико-химик и сотрудник военно-морской научно-исследовательской базы, применила этот метод на практике при анализе больших молекул.

Продолжая заниматься исследовательской работой в лаборатории военно-морских сил, Карле время от времени читал лекции по математике и физике в Мэрилендском университете, где занимал должность профессора (1951-70). Он выступал с лекциями в Великобритании, Германии, Италии, Канаде, Польше, Бразилии и Японии, кроме того, вёл ежемесячный Вашингтонский коллоквиум по кристаллам.

В 1985 г. Карле и Хауптману была вручена Нобелевская премия по химии "за значительные достижения по созданию непосредственных методов определения кристаллических структур". Карле удостоился также большого количества других научных наград. В 1986 г. учёному была присвоена почётная докторская степень нью-йоркского Сити-колледжа. В 2009 г. Карле и его жена вышли на пенсию, проработав в общей сложности 127 лет на правительство Соединённых Штатов.

Имя Джером - английская форма древнегреческого имени Hieronymos, составленного из слов hieros - "священный" и onyma - "имя". Фамилия Карфункл произошла от идишского слова горфинкель, которое означает "карбункул" (драгоценный камень). Фамилия Карле - искусственная, получена из настоящей пропуском второго слога.

Вне Нью-Йорка

Памятный знак на Бульваре Нобелевских Лауреатов в Ришон ле-Ционе, Израиль.