Шерман вырос в г. Ньюпорт-Ньюс в Вирджинии. Вслед за старшими братьями Эдвардом и Мортимером поступил в 1938 г. в Колледж Уильяма и Мэри, но после первого семестра оставил учёбу, чтобы участвовать в семейном бизнесе - розничной торговле одеждой. В 1949 г. бизнес был продан, и Коэны перебрались в Нью-Йорк, где занялись торговлей автомобилями. Через несколько лет они сфокусировались на недвижимости и в 1954 г. основали строительную компанию "Коэн Бразерс".

Вначале компания возводила 6-этажные кирпичные жилые дома в округе Вестчестер к северу от Манхэттена. Когда в 1955 г. в Нью-Йорке была демонтирована надземная железная дорога над Третьей авеню, "Братья Коэны" опередили многих других девелоперов, начав скупать земли, освободившиеся в перспективном районе, и строить на них многоэтажные коммерческие, административные и жилые здания.

С 1983 г. президентом и исполнительным директором "Cohen Brothers Realty Corp." является сын Шермана Чарльз С. Коэн, выпускник Бруклинской Школы права. Компания владеет недвижимостью общей площадью более 1,200,000 кв. метров в Нью-Йорке, Лос-Анджелесе, Хьюстоне и Флориде.

Последнюю по времени сделку с недвижимостью Шерман Коэн совершил в 2011 г., продав принадлежавший ему особняк в Верхнем Ист-Сайде. Последние годы Шерман и его жена Глория жили в Пам-Бич, Флорида, и продолжали активно заниматься благотворительностью в области здравоохранения и образования. Основанный ими благотворительный фонд Sherman and Gloria H. Cohen Family Foundation поддерживает множество известных благотворительных проектов, включая больницу Ленокс-Хилл, Государство Израиль, "Объединённый Еврейский Призыв", Медицинский колледж им. Альберта Эйнштейна, Центр диализа им. Шермана и Глории Коэн в Институте им. Рогозина в Нью-Йорке и др.

Имя Шерман - американское, есть несколько вариантов его происхождения. Имя Ирвинг происходит от шотландского топонима со значением "зелёная вода", распространено среди англоязычных евреев в качестве замены таких еврейских имён, как Израиль, Исаак и др. Фамилия Коэн происходит от ивритского слова коэн - "священник", обладатели подобных фамилий считаются потомками священников, служивших в Иерусалимском Храме.

Вне Нью-Йорка

- Павильон Шермана и Глории Коэн в Гринвичской больнице - Лафайет-стрит 77, Гринвич, Коннектикут.

- Карьерный центр им.  Шермана и Глории Коэн, Колледж Уильяма и Мэри в Вильямсбурге, Вирджиния.