Джеймс Спейер был прямым потомком умершего в 1686 г. Михаэля Спейера, основателя еврейского банкирского дома во Франкфурте-на-Майне. Отец Джеймса приехал в Нью-Йорк в 1845 г. и присоединился к своему брату Филипу, который за восемь лет до этого открыл нью-йоркское отделение банка Спейеров (в 1878 г. преобразовано в банк "Спейер и Ко.").

Джеймс получил образование во Франкфурте, поработал некоторое время в банках Спейеров в Париже и Лондоне и в 1885 г. вернулся в Нью-Йорк. Вся его дальнейшая карьера связана со "Спейер и Ко.", где он был старшим партнёром, а затем президентом. При нём банк пользовался прекрасной репутацией, в том числе международной - был официальным финансовым агентом Мексики и Кубы.

Джеймс Спейер в разное время входил в советы директоров множества финансовых и промышленных компаний и в попечительские советы ряда благотворительных организаций. Он оказывал финансовую поддержку президентским избирательным компаниям Кливленда, Мак-Кинли и Теодора Рузвельта, участвовал в создании общинного дома "University Settlement", председательствовал в Франко-Американском финансовом обществе. В 1901 г. он пожертвовал сто тысяч долларов Учительскому колледжу Колумбийского университета на постройку семиэтажного здания школы, впоследствии названной его именем. Кроме того, в 1896-97 гг. он возглавлял городской Совет по образованию.

Имя Джеймс - английская форма библейского имени Иаков. Фамилия Спейер - топонимическая, от немецкого города Шпейер, стоящего на берегу Рейна.