Голдман иммигрировал в Соединённые Штаты из Франкфурта-на-Майне в 1848г., с первой большой волной еврейской иммиграции в Америку, вызванной революционными событиями в Центральной Европе.
   Прибыв в Филадельфию, Голдман зарабатывал на жизнь мелочной торговлей - вначале с тележки, запряженной лошадью, затем открыл небольшой магазин. В 1869г. он с женой и шестью детьми перебрался в Нью-Йорк, открыл брокерскую контору на Пайн-стрит в Нижнем Манхэттене и занялся перепродажей банкам долговых расписок клиентов ювелирных магазинов. В 1882г. к его бизнесу присоединился зять, Сэмюэл Сакс, вследствие чего компания получила название Голдман-Сакс.
    В 1896г. фирма присоединилась к Нью-йоркской фондовой бирже. Свою первую революцию на американском финансовом рынке эта компания совершила уже в 1897г., когда она первой решила использовать телеграф с целью заимствования средств для клиентов на кредитном рынке в Европе по более низким ставкам. В 20-м веке детище Маркуса Голдмана стало крупнейшим инвестиционным банком США.