В начале своей карьеры Карл работал в газетном киоске, на фабрике боеприпасов, на железной дороге. Изучив бухгалтерию, он смог получить место бухгалтера на Уолл-стрите. В 1925 г. Маркс основал на Уолл-стрите инвестиционную фирму Carl Marks & Co., торговавшую иностранными ценными бумагами. Фирма, ставшая одной из крупнейших в этой сфере, продолжает существовать, после смерти Карла её возглавлял его сын Эдвин С. Маркс (1927-2003). Карл Маркс был президентом Объединённой ассоциации эпилепсии и ежегодно жертвовал солидные суммы этой ассоциации, а также Федерации еврейских филантропов Нью-Йорка и другим еврейским организациям.

Имя Карл - германского происхождения, от слова Karlaz со значением "свободный человек". Еврейская фамилия Маркс - от латинского имени Марк, которое происходит от имени бога войны Марса.