Пол Саймон вырос в благополучной еврейской семье в Квинсе. Он познакомился со своим будущим партнёром Артом Гарфанкелом в шестом классе бруклинской школы PS 164, где оба участвовали в школьной самодеятельности. С 1956 по 1962 год дуэт Арта и Пола назывался "Том и Джерри", с 1963-го - "Simon and Garfunkel". Все песни для дуэта писал Саймон, основным вкладом Гарфанкела был его чистый, высокий голос . Закончив среднюю школу Форест-Хиллз, Пол поступил в Квинс-колледж, где в 1963 г. получил степень бакалавра английской литературы. Он также проучился один семестр в Бруклинской школе права, но бросил её ради музыки.

В 1965 г. импресарио Тим Уилсон осовременил звучание песни "Звуки тишины", написанной Саймоном под впечатлением от убийства президента Кеннеди, наложив на неё электрические гитары и ударные. Без ведома авторов новая версия была выпущена синглом и достигла первой строчки в национальных чартах. За этим последовали такие жемчужины фолк-рока, как "A Hazy Shade of Winter" и "Homeward Bound" - рафинированные образчики этого направления рок-музыки.

В отличие от других фолк-рок-коллективов, аудиторию Саймона и Гарфанкела составляли люди зрелого возраста, способные оценить поэтическую сложность их работ (многие из них были написаны под влиянием Боба Дилана). Их самый крупный хит второй половины шестидесятых - "Mrs. Robinson" (1968, 1-е место в США) - прозвучал в знаменитом фильме "Выпускник", с которого началась актёрская карьера Дастина Хоффмана.

Мелодичный альбом "Bridge over Troubled Water" (1970) стал финальным аккордом их совместной карьеры; с него было выпущено четыре сингла. Ни один альбом прежде не имел столь триумфального успеха: он провёл десять недель на первом месте в Billboard 200 и впервые в истории выиграл "Грэмми" во всех самых престижных номинациях. В марте и апреле 1970 г. сложилась уникальная ситуация, когда Саймон и Гарфанкел занимали первые строчки хит-парадов продаж альбомов и синглов по обе стороны Атлантики. В Великобритании этот альбом занимал первое место по годовым продажам два года подряд.

К 1970 году интересы участников кардинально разошлись, и дуэт распался. Саймон увлёкся переработкой народной музыки других стран, что отразилось на его сольном альбоме "Пол Саймон" (1972). Центральная песня альбома - "Mother and Child Reunion" (4-е место в США) - была записана на Ямайке в стиле регги. Его третий сольный альбом "Still Crazy After All These Years" (1975) занял 1-е место в Billboard 200.

После этого Саймон выпустил сборник лучших песен, сыграл у Вуди Аллена в оскароносном фильме "Энни Холл" и написал сценарий и песни для кинофильма "One Trick Pony" (1980), в которой сам исполнил главную роль. В 1981 г. он выступил вместе с Гарфанкелом перед полумиллионной толпой зрителей в нью-йоркском Центральном парке, за этим последовал совместный мировой тур.

Свой очередной диск, "Graceland" (1986), музыкант записал в Йоханнесбурге и Лондоне с группой чернокожих музыкантов. Вслед за африканской музыкой Саймона пленили бразильские мотивы, которые преобладают в альбоме "The Rhythm of the Saints" (1990). В 1999 г. Саймон выступал с Бобом Диланом. В 2000 г. был выпущен альбом "You're the One", а в 2006 г. - "Surprise" (в сотрудничестве с Брайаном Ино).

В 2004 г. журнал "Роллинг Стоун" опубликовал список 500 лучших песен всех времён, в который попали три песни дуэта Саймона и Гарфанкела. В 2007 г. Библиотека Конгресса присудила Саймону первую в истории Гершвиновскую премию за вклад в развитие американского песенного искусства. Он обладатель трёх премий "Грэмми" в номинации "лучший альбом года" (1970, 1975, 1986). В 2017 г.  Саймон объявил о прекращении концертной деятельности.  

Имя Пол - английская форма латинского имени Paulus, происходящего от прилагательного со значением "маленький". Имя Фредерик - от древнегерманского имени Frederich: frithu - "мир" и  riki - "богатый" или "вождь". Фамилия Саймон - от английской формы библейского имени Симеон.