Питер Коэн окончил Университет штата Огайо в 1968 году и получил степень магистра деловой администрации в Школе бизнеса Колумбийского университета в 1969 году. Он начал свою карьеру на Уолл-стрит в Reynolds & Co., затем работал в Dean Witter Reynolds, а в 1970 г. перешёл в CBWL-Hayden Stone. В 1973 г. Коэн занял должность помощника президента фирмы Сэнфорда Вайла, организатора крупных консолидаций брокерских и инвестиционных фирм в 1960-х и 1970-х годах. Коэн оставался с фирмой при различных слияних 1970-х годов, включая Shearson, Hammill & Co. и Loeb, Rhoades, Hornblower & Co. В 1981 г. Shearson слился с American Express, и Коэн стал президентом и главным операционным директоромбанка  Shearson Lehman, а в 1983-м - его председателем и главным исполнительным директором. В свои 36 лет Коэн стал самым молодым руководителем крупной фирмы на Уолл-стрит. В 1992-94 г. Коэн был заместителем председателя и директором Республиканского Национального банка Нью-Йорка. Коэн был изображён Питером Ригером в фильме "Варвары в 1993 году", посвящённом крупнейшей сделке по выкупу компании RJR Nabisco. Коэн был, в разное время, членом Советов директоров десятка других компаний, а также членом Попечительских советов Медицинского центра Маунт-Сайнай, Музея еврейского наследия, Городской оперы Нью-Йорка и Фонда Университета штата Огайо.
 

Имя Питер происходит от греческого Petros, означающего "камень". Фамилия Коэн происходит от ивритского слова коэн - "священник", обладатели подобных фамилий считаются потомками священников, служивших в Иерусалимском Храме.