Детство Адлера прошло в Гарлеме, Нью-Йорк, он был третьим из пяти детей в семье. Его родители эмигрировали в Соединённые Штаты из Галиции. Его отец работал маляром, позже открыл малый бизнес, продавая лёд, уголь, дрова и др. Адлер получил еврейское имя Ицхак, имя в свидетельстве о рождении - Айзек. Он стал Ирвингом, когда поступил в начальную школу. В 14 лет Адлер окончил среднюю школу им. Таунсенда Харриса и поступил  в нью-йоркский Сити-колледж, который окончил с отличием в 1931 г., получив степень бакалавра.

В 1930-40-х гг. Адлер преподавал математику в различных нью-йоркских средних школах. В 1935 г. он судился с городским Советом по образованию и добился того, что 3500 замещающих учителей были приравнены по статусу к остальным учителям. Адлер был активным членом Нью-йоркского союза учителей и Американской федерации учителей - в качестве члена её исполнительного совета, председателя комитета по образовательной политике и комитета по зарплате и законодательству. С 1935 г. он был членом Коммунистической партии США.

В 1949 г. власти штата Нью-Йорк начали увольнять преподавателей, подозреваемых в принадлежности к "подрывным организациям". Нью-йоркский союз учителей подал в суд и выиграл иск против  Совета по образованию в Верховном суде штата. Это громкое дело получило название "Адлер против Совета по образованию", потому что имя Адлера было первым по алфавиту в списке истцов.

Однако в 1952 г. Верховный суд США шестью голосами против трёх отменил решение нью-йоркского суда, и вскоре  Адлер, как и многие другие, был уволен "за неподобающее поведение" и стал одной из самых известных жертв борьбы против "Красной угрозы". В 1967 г. Верховный суд США отменил своё прежнее решение. Учителя, которые были уволены в 1950-х, были восстановлены в правах. Адлер продолжил работу в школах города до выхода на пенсию в 1977 г.

В 1961 г. Ирвинг Адлер получил докторскую степень в области математики в Колумбийском университете. Он был автором 57 книг для детей и взрослых, посвящённых образованию, математике и естественным наукам. Ещё около 30 книг он написал в соавторстве со своей женой Рут Адлер. Его книги были опубликованы на 19 языках в 31 стране. Его книга "Новая математика" (1958) сыграла важную роль в реформировании учебных программ по математике в США и Канаде. Он был также автором учебников по математике для начальной школы (с 1 по 6 класс), изданных общим тиражом в 28 миллионов экземпляров по всему миру.

В 1980-х годах Адлер опубликовал ряд статей по вопросу филлотаксиса (расположения листьев на стебле растения) и его связи с рядом Фибоначчи. Адлер читал лекции о филлотаксисе во многих университетах и на конференциях, в том числе в Институте перспективных исследований Принстона и в Военной академии Вест-Пойнт. Живя в Вермонте, он активно участвовал в детельности местных организаций, выступавших против атмосферных испытаний ядерного оружия, за гражданские права меньшинств и т.п.
 

Имя Ирвинг происходит от шотландского топонима со значением "зелёная вода", распространены среди англоязычных евреев в качестве замены таких еврейских имён, как Израиль, Исаак и др. Фамилия Адлер происходит от слова адлер - "орёл" на немецком и на идиш.