Харви вырос во Флэтбуше, окончил среднюю школу им. Сета Лоу и Институт Пратта (1973). В молодости выступал как стэнд-ап-комик, часто выходил на сцену, загримированный женщиной. (Он не скрывал свой гомосексуализм ещё тогда, когда мало кто на это решался). Известность ему принесла пьеса "Torch Song Trilogy", за которую он получил две премии "Тони" 1983 года - как драматург и как исполнитель главной роли. (Фильм по этой пьесе был поставлен в 1988 г.). В 1984 г. он получил ещё одну премию "Тони" - за литературную основу мюзикла "La Cage aux Folles".

Файерстайн сыграл ряд заметных ролей в бродвейских спектаклях по своим и чужим пьесам. Одна из них, роль матери в мюзикле "Hairspray" (2002), принесла ему "Тони" в номинации "лучший актёр мюзикла". Таким образом, он стал первым человеком, получившим эту премию в четырёх различных номинациях. В возобновлённом в 2004 г. бродвейском шоу "Скрипач на крыше" он сыграл Тевье-молочника, и вновь появился в этой роли в 2009 г.

Среди наиболее удачных работ Файерстайна в кино - роли в фильмах "Пули над Бродвеем" Вуди Аллена, "Миссис Даутфайр" Робина Уильямса, "Гарбо говорит" Сидни Люмета, "День независимости" Роланда Эммериха и др. Обладая своеобразным скрипучим голосом, он неоднократно озвучивал художественные, документальные, телевизионные и мультипликационные фильмы. За одну из таких работ, в фильме "Времена Харви Милка", он был награждён премией "Эмми". Ещё одну "Эмми" Файерстайн получил за участие в знаменитом комедийном сериале "Cheers" - как актёр второго плана. Его имя внесено в Зал славы американского театра (в нью-йоркском театре "Гершвин").

Имя Харви - бретонского происхождения, от слов haer "битва" и viu "достойный". Имя Форбс - шотландского происхождения, от слова, означающего "поле" по-гэльски. Фамилия Фаерштейн произошла от идишских слов фаер - "огонь" и штейн - "камень".