Шерман вырос в г. Ньюпорт-Ньюс в Вирджинии. Вслед за старшими братьями Эдвардом и Мортимером поступил в 1938 г. в Колледж Уильяма и Мэри, но после первого семестра оставил учёбу, чтобы участвовать в семейном бизнесе - розничной торговле одеждой. В 1949г. бизнес был продан, и Коэны перебрались в Нью-Йорк, где занялись торговлей автомобилями. Через несколько лет они сфокусировались на недвижимости и в 1954 г. основали строительную компанию "Коэн Бразерс".

Вначале компания возводила 6-этажные кирпичные жилые дома в округе Вестчестер, на север от Манхэттена. Когда в 1955 г. в Нью-Йорке была демонтирована надземная железная дорога над Третьей авеню, "Братья Коэны" опередили многих других девелоперов, начав скупать земли, освободившиеся в перспективном районе, и строить на них многоэтажные коммерческие, административные и жилые здания.

С 1983 г. президентом и исполнительным директором "Cohen Brothers Realty Corp." является сын Шермана Чарльз С. Коэн, выпускник Бруклинской Школы права. Компания владеет недвижимостью общей площадью более 1,200,000 кв. метров в Нью-Йорке, Лос-Анджелесе, Хьюстоне и Флориде.

Последнюю по времени сделку с недвижимостью Шерман Коэн совершил в 2011 г., продав принадлежавший ему особняк в Верхнем Ист-Сайде. Последние годы Шерман и его жена Глория жили в Пам-Бич, Флорида, и продолжали активно заниматься благотворительностью в области здравоохранения и образования.

Имя Шерман - американское, есть несколько вариантов его происхождения. Фамилия Коэн происходит от ивритского слова коэн - "священник", обладатели подобных фамилий считаются потомками священников, служивших в Иерусалимском Храме.

Вне Нью-Йорка

- Павильон Шермана и Глории Коэн в Гринвичской больнице - Лафайет-стрит 77, Гринвич, Коннектикут.

- Карьерный центр им.  Шермана и Глории Коэн, Колледж Уильяма и Мэри в Вильямсбурге, Вирджиния.