Маркус Голдман иммигрировал в Соединённые Штаты из Франкфурта-на-Майне в 1848 г., с первой большой волной еврейской иммиграции в Америку, вызванной революционными событиями в Центральной Европе. Прибыв в Филадельфию, Голдман зарабатывал на жизнь мелочной торговлей - вначале с тележки, запряженной лошадью, затем открыл небольшой магазин. В 1869 г. он с женой и шестью детьми перебрался в Нью-Йорк, открыл брокерскую контору на Пайн-стрит в Нижнем Манхэттене и занялся перепродажей банкам долговых расписок клиентов ювелирных магазинов. В 1882 г. к его бизнесу присоединился зять, Сэмюэл Сакс, и в 1888 г. компания получила название Голдман-Сакс. В 1896 г. фирма присоединилась к Нью-йоркской фондовой бирже. Свою первую революцию на американском финансовом рынке эта компания совершила уже в 1897 г., когда она первой решила использовать телеграф с целью заимствования средств для клиентов на кредитном рынке в Европе по более низким ставкам. В 20-м веке детище Маркуса Голдмана стало крупнейшим инвестиционным банком США.
 

Латинское имя Маркус происходит от имени бога войны Марса. Фамилия Голдман происходит от немецких слов Gold - "золото" и Mann - "человек".