Харви вырос в Бруклине, в бедной еврейской семье. С ранних лет он помогал матери растить младших братьев - Джерри и Марвина. Харви окончил школу в 15 лет и поступил в нью-йоркский Сити-колледж, но учился с перерывами - надо было зарабатывать на жизнь и образование. В 1960 г. Кэйли получил диплом инженера-электрика, а позже получил магистерскую степень в Нью-Йорском университете. Работал инженером-электронщиком в Airborne Instruments Laboratory, Dumont Phillips и ITT. В 1969-м он основал компанию Mini-Circuits, которой руководил до выхода на пенсию в 2015 г. За это время компания стала одним из крупнейших в мире изготовителей радиоволновых и микроволновых устройств. Кэйли и его жена Глория основали благотворительный фонд Harvey & Gloria Foundation, который оказывал поддержку организации OHEL, помогающей семьям детей, отстающих в развитии. Этот фонд помогал также Университету Ешива, синагогам Грейт-Нек и Хэмптон, фонду Aleh Negev, Медицинскому центру Вайл - Корнелл и др. В   2015 г.  Кэйли удостоился чести быть маршалом ежегодного нью-йоркского парада в честь Государства Израиль.

Имя Харви - бретонского происхождения, от слов haer - "битва" и viu - "достойный". Фамилия Кэйли происходит, вероятно, от арабского имени Kaylee, что означает "лавр; лавровое дерево".