Отец Джеймса родился в Лондоне в семье евреев - иммигрантов из Австро-Венгрии, мать - в Бельгии, в семье евреев - иммигрантов из Польши. Джеймс Вольфензон окончил Сиднейский университет (бакалавр искусств и права). Он был членом сборной Австралии по фехтованию на Олимпийских играх в Мельбурне (1956) и офицером Австралийского Королевского Воздушного Флота. Работал в известной юридической фирме Сиднея. В 1959 г. окончил Школу бизнеса Гарвардского университета (магистр деловой администрации).

После Гарварда Вольфензон работал в финансовых учреждениях Швейцарии и Австралии, затем в австралийском отделении лондонского инвестиционного банка "J. Henry Schroders". После нескольких лет работы на высоких должностях в штаб-квартире этого банка в Лондоне Вольфензон в 1970 г. был назначен руководителем нью-йоркского отделения банка.

В 1976 г. Вольфензон занял пост исполнительного директора инвестиционного банка "Саломон Бразерс", а в 1980-м, получив американское гражданство, основал собственную компанию "James D. Wolfensohn, Inc".

С 1995 по 2005 г. Джеймс Вольфензон занимал пост президента Всемирного Банка. За это время он посетил 120 стран мира. Его заслугой считается борьба с коррупцией в международных финансовых организациях. По окончании его второй каденции во Всемирном Банке Вольфензон в течение года был наблюдателем Ближневосточного квартета по разъединению в Газе. Ему принадлежала идея выкупить за 14 млн. долларов принадлежавшие израильтянам теплицы в Газе и подарить их арабскому населению сектора (кроме идеи, он вложил в этот проект полмиллиона собственных денег). Эти теплицы были разграблены и разгромлены в первый же день после вывода израильских войск.

С 2005 г. Вольфензон возглавлял основанную им фирму "Wolfensohn & Company, LLC", которая занималась инвестированием и стратегическим консультированием правительств и корпораций, работающих на развивающихся рынках. Вольфензон был членом Попечительского совета Брукингского института, Рокфеллеровского Фонда, Института перспективных исследований в Принстоне, почётным председателем Карнеги-Холла в Нью-Йорке и Центра исполнительских искусств им. Кеннеди в Вашингтоне, членом Совета по международным отношениям США.

Вольфензон был награждён Орденом Австралии (1987), Орденом Британской Империи (1995) и рыцарским званием, почётный доктор Университета Нового Южного Уэльса (2006). Умер от пневмонии.

Имя Джеймс - английская форма библейского имени Иаков. Имя Дэвид - английская форма библейского имени Давид. Фамилия Вольфензон - патроним от еврейского мужского имени Вольф, которое на идиш означает "волк".

Вне Нью-Йорка

В его честь назван Wolfensohn Center for Development at the Brookings Institution в столице США Вашингтоне.