Фрид приехал в США в возрасте 9 лет вместе с родителями, бежавшими от преследований нацистов. В 1953 г. он получил степень бакалавра архитектуры в Технологическом институте Иллинойса. Работал в различных архитектурных фирмах Чикаго и Нью-Йорка, сотрудничал с выдающимся модернистским архитектором Людвигом Мисом ван дер Роэ. В 1956 г. он начал работать с И.М. Пэем в Нью-Йорке в фирме, в конечном счете известной как Pei Cobb Freed & Partners.

В конце 1970-х годов он был членом постмодернистского движения "Чикагская семерка", состоявшей из последователей Миса ван дер Роэ. С 1975 до 1978 г. Фрид был деканом Школы архитектуры в Технологическом институте Иллинойса. Он также преподавал в Корнелльском, Колумбийском и Йельском университетах.

Основные работы Фрида включают Конференц-центр им. Джейкоба Джавитса в Нью-Йорке, Главную публичную библиотеку Сан-Франциско, Мемориал Военно-воздушных сил США в Арлингтоне, Вирджиния. Он спроектировал несколько крупнейших зданий в Вашингтоне, округ Колумбия, в т.ч. Центр строительной промышленности и международной торговли им. Рональда Рейгана и Мемориальный музей Холокоста Соединённых Штатов. Как говорил сам архитектор, проект помог ему осознать значимость своих еврейских корней.

В 1988 Фрид был избран в Национальную академию дизайна, в 1995 г. был награждён Национальной медалью искусств. Умер от болезни Паркинсона.

Имя Джеймс - английская форма библейского имени Иаков. Фамилия Фрид происходит от немецкого слова Frieden - "мир".