Первым учителем музыки Ефрема был отец, скрипач и дирижёр театрального оркестра. В 1901-07 гг. Цимбалист учился в Петербургской консерватории у Леопольда Ауэра. По окончании был удостоен малой золотой медали, премии им. Антона Рубинштейна и премии принцессы Ольденбургской.

Цимбалист дебютировал с огромным успехом в Берлине в 1907 г. исполнением Концерта Брамса в сопровождении филармонического оркестра. В том же году концертировал в Лондоне, а в 1910-м - в Лейпциге (Концерт Чайковского с А. Никишем) и в других музыкальных центрах Европы. В 1911 г. переселился в США и впервые в этой стране исполнил Концерт А. Глазунова (с Бостонским оркестром). Среди учеников Л. Ауэра Цимбалист выделялся благородством стиля, оригинальностью исполнения музыкальных произведений разных эпох и направлений, ему было чуждо стремление к виртуозным эффектам.

С 1914 г. Цимбалист выступал вместе с женой, известной певицей Альмой Глюк (1884-1938), сопрано, аккомпанируя ей на рояле и играя соло на скрипке. Дважды совершил кругосветные гастрольные турне.Он выступал в дуэте с великим австрийским скрипачом Ф. Крейслером (на пластинку записан в их исполнении Концерт Баха для двух скрипок). Цимбалист был первым исполнителем посвящённого ему Концерта видного американского композитора Джанкарло Менотти (1954).

Цимбалист - автор сочинений в различных жанрах, в том числе "Американской рапсодии" (1936, 1943) и поэмы "Портрет артиста" (1945) для оркестра, концертов для скрипки (1947) и виолончели (1969) с оркестром, театральной музыки, камерных ансамблей и др. Украшением репертуара скрипачей поныне является его "Фантазия на темы оперы Н. Римского-Корсакова "Золотой петушок".

Плодотворной была деятельность Цимбалиста-педагога. С 1928 г. он преподавал в Институте Кёртиса в Филадельфии, а в 1941-68 гг. был директором этого учебного заведения. Среди многих его учеников выделяются Оскар Шумский (1917-2000), Джозеф Сильверстайн (1932-2015) и Шмуэль Ашкенази (р. 1941). Сын Цимбалиста, Ефрем Цимбалист-младший (1918-2014), был известным американским киноактёром.

Имя Ефрем - русская форма библейского имени Эфраим. Фамилия Цимбалист означает "исполнитель на цимбалах".