Харви родился в еврейской семье, его родители держали ларёк с прохладительными напитками на Брайтон-Бич. Окончив среднюю школу на Кони-Айленде и отслужив три года в морской пехоте в Ливане (1956-59), Харви поступил одновременно в Нью-Йоркский университет и в Актёрскую студию, где его наставниками были Стелла Адлер и Ли Страсберг. Дебютировав в "Американской мечте" Олби, он затем восемь лет играл в маленьких офф-офф-Бродвейских театрах, то есть принимал участие в авангардных некоммерческих постановках.

Во второй половине 1960-х судьба сводит молодого Кайтела с начинающим кинорежиссёром Мартином Скорсезе. В первой полнометражной картине Скорсезе "Кто стучится в дверь ко мне?" (1969) Кайтел получил главную роль. Но настоящим прорывом и для Скорсезе, и для Кайтела стала их совместная работа в фильме "Злые улицы" (1973) - инфернальной драме, в которой столкнулись два основных альтер-эго режиссёра - Кайтел в роли Чарли и Роберт Де Ниро в роли Малыша Джонни.

В следующем фильме Скорсезе "Алиса здесь больше не живёт" (1974) Кайтел сыграл небольшую забавную роль провинциального мачо. А роль сутенёра-итальянца в культовой картине Скорсезе "Таксист" (1976) принесла Кайтелу настоящую славу. Но после этого карьера Харви Кайтела испытала некий провал, хотя он и продолжал много сниматься, и вновь об актёре заговорили с выходом на экраны "Последнего искушения Христа" (1988), в котором он мастерски исполнил роль неистового Иуды.

К началу 1990-х годов Кайтел становится фаворитом американских независимых режиссёров. Так, он исполнил главные роли в фильмах Абеля Феррары "Плохой лейтенант" (1992) о продажном полицейском-наркомане и "Глаза змеи" (1994) - мрачной ленте на тему слияния театра и жизни. Несомненной актёрской удачей Кайтела стало участие в нашумевшем фильме австралийской женщины-режиссёра Джейн Кэмпион "Пианино" (1993), глубокой и пронзительной драме об одиночестве и ностальгии. Зритель мог запомнить Кайтела также по роли добросовестного полицейского в феминистской драме Ридли Скотта "Тельма и Луиза" (1991).

Харви Кайтел был одним из первых, кто поверил в Квентина Тарантино. В его дебютном фильме "Бешеные псы" (1992) Кайтел не только сыграл гангстера по прозвищу "Мистер Уайт", но и стал сопродюсером ленты. В сделавшем Тарантино звездой "Криминальном чтиве" (1994) Кайтел получил небольшую, но яркую роль "человека, решающего проблемы".

Личным триумфом Кайтела стал Берлинский кинофестиваль 1995 года. В его рамках состоялась европейская премьера фильма "Дым" американских "независимых" Уэйна Вонга и Пола Остера, с Харви Кайтелом в главной роли бруклинского философа Оги. Персонаж Кайтела - символ нью-йоркского взгляда на мир, сдержанного, насмешливого, точного и терпеливого. Эта роль принесла ему "Серебряного медведя". Новым успехом Харви Кайтела стал культовый фильм "От заката до рассвета" (1996) Роберта Родригеса. Он продолжал регулярно сниматься и в 2000-е годы.

Имя Харви - бретонского происхождения, от слов haer "битва" и viu "достойный". Фамилия Кейтель - от идишского слова кейтл, означающего "цепочка" или "крючок".