Джей вырос во Флашинге, его родители торговали дамскими шляпками. Он отслужил 2 года в армии, окончил Уортонскую школу бизнеса при Пенсильванском университете в 1956 г. В течение 9 лет Бейкер работал в универмаге "Мэйсис", затем работал в других предприятиях розничной торговли, в том числе в знаменитом магазине Saks Fifth Avenue, и занимал в них всё более высокие посты. В 1986 г. он с двумя партнёрами купил сеть универмагов Kohl's Corporation и занял пост президента компании. Со временем все три партнёра оказались в "списке Форбса". Бейкер ушёл с поста президента в 2000-м году, но оставался членом правления до 2007 г. Поселившись в г. Нейплс во Флориде, он и его жена Пэтти, бывшая стюардесса, занялись благотворительностью. Так, пожертвования в десятки миллионов долларов получили Институт технологии моды (где в их честь была названа Jay and Patty Baker School of Business and Technology), Хантер-колледж, Медицинская школа им. Айкана при больнице Маунт-Сайнай, и др. Его имя носит художественный музей в Нейплсе, открытый в 2000-м году.

Джей - уменьшительное от английских имён James, Jacob, Jared, Jeremy, John, Jonathan, Joseph, Jason, Jordan, Justin и др. Фамилия Бейкер в переводе с идиш и немецкого означает "пекарь".

Вне Нью-Йорка

Художественный музей Baker Museum, здание Baker Tower в больнице North Naples и парк Baker Park в Нейплсе, Флорида.