Голуб учился в Корнелльском университете, получил степень бакалавра в Нью-Йоркском университете. Работал старшим партнером в McKinsey & Company. С 1993 по 2001 г. он был главным исполнительным директором American Express. Он был также (2004-09) председателем совета директоров компании Campbell Soup. Голуб был председателем транснациональной страховой корпорации AIG. О его уходе с поста председателя AIG было объявлено 16 июля 2010 года. Он входит в советы директоров компаний Marblegate Asset Management и Ripplewood Holdings и является председателем инвестиционного банка Miller Buckfire. Голуб входит в советы попечителей Американского института предпринимательства, Манхэттенского института политических исследований и Центра исполнительских искусств им. Линкольна.

Имя Харви - бретонского происхождения, от слов haer - "битва" и viu - "достойный". Фамилия Голуб происходит от названия птицы голубь - "голуб" на украинском и белорусском.