Ребе Моше Марголис происходил из семьи потомственных раввинов, восходящей, по некоторым данным, к Раши (1040-1105), великому средневековому толкователю Библии и Талмуда. Учился у своего дяди, раввина Меречи, затем в Белостокской ешиве. В 26 лет стал раввином большого местечка Слободка. В 1889 г. был приглашён в Америку в качестве главного раввина ортодоксальной общины Бостона. В течение тридцати лет, с 1906 г., Марголис возглавлял конгрегацию "Кехилат Ешурун" в Нью-Йорке, одну из самых больших и влиятельных ортодоксальных общин США. В 1920-30-е годы считался одним из наиболее уважаемых представителей американского раввината, принимал участие в деятельности многих религиозных и сионистских организаций. Основал Союз ортодоксальных раввинов Америки и Канады. В 1933 г., в весьма преклонном возрасте, Марголис выступал в Мэдисон-Сквер-Гарден на массовом митинге протеста против преследований евреев в нацистской Германии.

Моше (английская форма - Мозес) и Зевулун - библейские имена. Фамилия Марголис образована от ивритского слова маргалит, которое означает "драгоценный камень", "изумруд".