Мэнни иммигрировал в США в 1921 г., жил в Бостоне. После смерти отца начал работать в маленьком магазине, продолжая изучать английский и пополнять своё образование. Со временем он основал собственный бизнес - оптовую торговлю одеждой и галантереей. Бизнес был достаточно успешным, что позволило Мэнни дать высшее образование двум своим сыновьям. Один из них, Ричард Кантор (р. 1933), совладелец инвестиционной фирмы Neuberger Berman и видный филантроп, в течение многих лет был председателем Попечительского совета Образовательного Альянса.

Имя Мануэль - романизированная форма библейского имени Immanu'el, означающего "Бог с нами". Фамилия Кантор произошла от идишского слова кантор - человек, который поёт и ведёт молитву в синагоге (хазан на иврите).