Роуз учился в Университете штата Вашингтон в течение года, до начала Второй мировой войны. Служил радиотехником в военном флоте США. По окончании войны продолжил учёбу в Чикагском университете, в 1948 г. получил степень бакалавра, в 1952-м там же защитил докторскую диссертацию по биохимии. В 1954-63 гг. преподавал в Медицинской школе Йельского университета, в 1970-х - в Пенсильванском университете. В 1963-95 годах Роуз был руководителем группы учёных в Онкологическом центре Фокс-Чейз в Филадельфии, которая открыла роль убиквитина в клеточной системе деградации белков в протеасомах. В 2004 г. он получил Нобелевскую премию по химии за это открытие вместе с израильтянами Аароном Чехановером и Аврамом Гершко. Ирвин Роуз - член Национальной академии наук США, с 1995 г. - почётный профессор Медицинской школы Калифорнийского университета. Среди его учеников много учёных мирового класса.
 

Имя Ирвин происходит от шотландского топонима со значением "зелёная вода", распространено среди англоязычных евреев в качестве замены таких еврейских имён, как Израиль, Исаак и др. Фамилия Роуз происходит от слова со значением "роза" (цветок) в ряде европейских языков.