Родители Питера иммигрировали в США из Украины, их семьи поселились в Провиденсе, Род-Айленд. Отец Питера учился в Краковском и Одесском университетах. Приехав в Америку в 1922 г., он изменил свою фамилию Ярошевич на Ярроу, окончил Школу права Колумбийского университета (1928), занимался частной адвокатской практикой в Нью-Йорке. Бернард был в 1938 г. назначен помощником окружного прокурора, во время войны служил в военной разведке (1944-45), в 1952 г. стал вице-президентом "Радио Свободная Европа" - организации, в создании которой он участвовал, - проработал на этом посту 20 лет. Мать Питера, привезенная в Америку в трёхлетнем возрасте, преподавала речь и драму в школе им. Джулии Ричман. Бернард и Вера разошлись в 1943 году.

Питер Ярроу окончил Нью-Йоркскую школу искусства и музыки (ныне Школа им. Ла Гвардиа), где изучал живопись. В 1959 г. он получил степень бакалавра психологии в Корнелльском университете. Питер увлёкся американской народной музыкой в 1958 г., после окончания университета пел в фолк-клубах Нью-Йорка. В начале 1960-х импресарио Альберт Гроссман объединил трёх молодых фолк-певцов, Мэри Трэверс (р. 1936), Пола Стуки (р. 1937) и Питера Ярроу, создав трио "Peter, Paul and Mary".

В конце 1961-го трио отыграло свой первый концерт в кофейне "Bitter End", а на следующий год на "Warner Bros. Records" вышла их дебютная пластинка. Благодаря песням "Lemon Tree" и "If I Had A Hammer" альбом отправился на самую вершину "Billboard". В 1963-м трио выпустило еще две полнометражки - "Moving" и "In The Wind", расположившиеся соответственно на второй и первой позиции американских чартов. Пик коммерческого успеха пришелся на ноябрь 1963-го, когда все три альбома "Peter, Paul And Mary" надолго расположились в лучшей шестерке "Billboard".

Наибольшим успехом пользовались песни "Puff the Magic Dragon", написанная Ярроу в содружестве с Леонардом Липтоном и ставшая детской классикой, и "Blowin’ in the Wind", принадлежавшая перу малоизвестного тогда Боба Дилана. Впоследствии ансамбль включал в свой репертуар и другие дилановские вещи. Популярности группы на протяжении всех 60-х способствовала активная гражданская позиция музыкантов и их участие в различных политических мероприятиях. (Питер называл иудаизм источником своих либеральных взглядов).

В середине 60-х группа попыталась разнообразить свою музыку за счёт привнесения роковых элементов (примером тому могут служить работы "Album" и "Album 1700"). Между тем, у участников проекта появились собственные амбиции, и в 1970 г. Питер, Пол и Мэри занялись сольными карьерами. Однако никто из них не смог достигнуть того успеха, которым они пользовались в составе трио, и в 1978-м произошло воссоединение ансамбля.

На протяжении 80-х и 90-х годов группа продолжала выпускать диски и альбомы. В 1996-м Питер, Пол и Мэри подготовили концептуальный лонгплей "LifeLines", записанный с участием многих видных фолкеров - Джона Себастьяна, Ронни Гилберта и др. В 2006-м музыканты получили награду "Lifetime Achievement" от Зала славы авторов песен. Питер Ярроу также несколько раз снимался в кино, писал музыку к кинофильмам. В 2011 г. он с сыном и дочерью пел перед участниками движения "Оккупай Уолл-стрит".

Имя Питер происходит от греческого Petros, означающего "камень".