Музыкальный талант Румшинского проявился в детстве. Учась в русской школе, он брал частные уроки игры на фортепьяно, пел в хоре знаменитого кантора Абрама-Моше Бернштейна (1866-1932) в Виленской хоральной синагоге. В 1890-94 гг. Румшински набирался опыта, выступая с хорами в других городах России, а в течение следующих пяти лет объездил чуть ли не всю "черту оседлости" с известной театральной труппой Каминских, выступая сначала в качестве хориста, а затем дирижёра и музыкального руководителя. Ему было всего семнадцать, когда он впервые дирижировал оперой Гольдфадена "Бар-Кохба".

В 1899 г. в Лодзи было создано хоровое общество "Хацомир", и Румшински стал его первым дирижёром. Но в 1902 г. ему пришлось уехать в Лондон, чтобы избежать призыва в царскую армию. С 1904 г. он в Америке - вначале в Нью-Йорке, затем в Бостоне, в театре "Надежда".

В 1908 г. Румшински принимает приглашение Якова Адлера и возвращается в Нью-Йорк, чтобы занять пост музыкального руководителя театра "Виндзор". Именно для "Виндзора" он написал свою первую оперетту "А идиш кинд" (текст Бернарда Виленского), а затем сонги для другой оперетты Виленского, "Натан Мудрый", основанной на пьесе Лессинга. Один из этих сонгов, "V'yiten l'kha" (слова Соломона Шмулевича), был издан отдельно в 1909 г., став первой американской публикацией оригинальной песни на идиш (позже многие были убеждены, что это народная песня).

Румшински работал также со многими другими еврейскими театрами Нью-Йорка, в т.ч. с Национальным театром Б. Томашевского (1916-19), Театром Второй Авеню Д. Кесслера (1919-28), Художественным театром М. Шворца (1946–49) и др. Начиная с середины 1930-х, он был музыкальным директором ряда радиопрограмм на идиш. Писал он также и еврейскую литургическую музыку.

Румшински написал в общей сложности более ста оперетт. Не все они равноценны, наиболее удачными были "Сломанная скрипка", поставленная Томашевским, и "Мелодия ребе", поставленная Кесслером. Более тридцати лет он сотрудничал со звездой еврейской сцены Молли Пикон.

Наряду с Шоломом Секундой, Александром Ольшанецким и Абрамом Эллстайном, Джозеф Румшински считается одним из четырёх столпов еврейского музыкального театра эпохи расцвета. Одно время он был президентом Общества еврейских композиторов и авторов песен. Похоронен Румшински в театральной секции кладбища Маунт-Хеброн в Квинсе.

Имена Джозеф и Юзеф - английская и польская формы библейского имени Йосеф. Происхождение фамилии Румшински установить не удалось.