После прихода нацистов к власти в Германии родители Хэролда, жившие в г. Трир, бежали в США. Позже его отец владел хозяйственным магазином в Нью-Йорке. Хэролд вырос в р-не Вашингтон-Хайт, окончил школу Бронкс-Сайенс в 1970 году. Затем он получил степень бакалавра в Корнелльском университете (1974), степень магистра политики, философии и экономики в Оксфордском университете (1978) и доктора юридических наук в Корнелльском университете (1979).

В 1985-2000 гг. Хэролд Леви работал корпоративным юристом на Уолл-стрите, занимал высокий пост в Citigroup. В 1994 г. глава школьного депертамента Нью-Йорка Рамон Кортинес назначил его членом комиссии по школьным помещениям. Леви пришёл к выводу, что необходимы миллиарды, чтобы вывести многие городские школы из того запущенного состояния, в котором они оказались.

Ему удалось собрать значительные средства для этой задачи, и в 2000 г. он был назначен членом Регентского совета и главой системы городских школ Нью-Йорка. Эта система была крупнейшей в США, в ней насчитывалось более 1800 школ и более 1,1 миллиона учеников. За почти три года работы на этом посту Леви управлял годовым бюджетом в 13 миллиардов долларов, эти годы были отмечены значительными реформами и рядом положительных результатов.

Позже Леви присоединился к Образовательному фонду Стэнли Каплана и основал его онлайн-программу магистратуры. В 2010-14 гг. он был управляющим директором Palm Ventures, инвестирующей в школы и образовательные технологии. С 2014 года Леви был исполнительным директором Фонда Джека Кента Кука, который предоставляет стипендии тысячам студентов из семей с низкими доходами.

Имя Хэролд происходит от древнеанглийского Hereweald, состоящего из элементов here - "армия" и weald - "лидер, правитель". Имя Оскар на гэльском языке означало "любящий оленей", на старошведском - "божье копьё". Фамилия Леви произошла от названия колена Левия.