Отец Иосифа Левина был трубачом в Лодзи. От второго брака с Фанни Левиной у него было семеро детей. В 1875 г. семья переехала в Москву, где Аркадий стал работать трубачом в оркестре Малого театра. Музыкальные способности Иосифа проявились уже в трёхлетнем возрасте. В 1882 г. состоялось его первое публичное выступление - в Праздничном зале ресторана "Славянский базар". В 1886 г., по протекции великого князя Константина, Левин был принят в Московскую консерваторию в класс профессора В. Сафонова.

В 1890 г. в Москве состоялся благотворительный концерт, на котором Левин исполнил 5-й Концерт Бетховена. Оркестром дирижировал Антон Рубинштейн, который высоко отозвался об исполнительском мастерстве молодого пианиста. В 1892 г. Левин закончил Московскую консерваторию с золотой медалью, он оказался первым в выпуске, опередив своих соучеников Сергея Рахманинова и Александра Скрябина. После этого он вместе с двумя выпускниками Московской консерватории, М. Альтшулером и А. Печниковым, организовал Московское трио, которое с успехом концертировало в России, Польше, Австро-Венгрии и Германии.

В 1895 г. Иосиф завоевал первую премию на Втором Рубинштейновском конкурсе в Берлине. В 1898 г. он женился на своей бывшей ученице Розине Бесси, на всю жизнь ставшей его ассистентом. В течение первого года брака Левины дебютировали в Москве на двух фортепиано. Затем они жили Тифлисе (ныне Тбилиси) с 1899 по 1901 год, в Берлине в 1901 году и вернулись в Москву в 1902-м, когда Иосиф получил должность профессора Московской консерватории.

Иосиф Левин совершил свой первый тур по Америке в 1906 году. Розина отказывалась играть сольные произведения, желая, чтобы всё внимание было сосредоточено на муже. Левин продолжал гастролировать по Европе и Соединённым Штатам с 1907 по 1914 год. Семья поселилась в Ванзее, пригороде Берлина, где у них было много студентов-пианистов, по преимуществу американцев. Когда началась Первая мировая война, Левины как граждане России были интернированы в Ванзее.

Сразу после войны Иосиф и  Розина с двумя детьми иммигрировали в Соединённые Штаты и поселились в Нью-Йорке, в районе Кью-Гарденз. (Когда Иосиф захотел вступить в местный гольф-клуб, ему было сказано, что евреев в него не принимают). С 1922 г. вплоть до своей смерти Левин преподавал в музыкальной школы Джульярд, а Розина ему ассистировала. В 1933 г. они получили американское гражданство.

Преподавательская деятельность нравилась Левину больше, чем исполнительская, поэтому он не слишком много выступал и оставил мало записей. Однако несколько сохранившихся записей Левина, особенно этюды Шопена и Шумана, оцениваются специалистами исключительно высоко. Левин также написал учебное пособие "Основные принципы фортепианной игры", которое вышло в 1924 г. и считается классикой музыкально-педагогической литературы. Иосиф Левин умер от повторного сердечного приступа.

Иосиф - библейское имя. Фамилия Левин произошла от названия колена Левия.