Рубенстайн окончил Городской колледж Балтимора, затем с отличием - Университет Дьюка в Северной Каролине (1970). Он окончил Школу права Чикагского университета в 1973 г. и два года практиковался в нью-йоркской юридической фирме, после чего работал в частной практике в Вашингтоне, округ Колумбия.

В 1987 г. Рубенстайн стал соучредителем и управляющим директором частной инвестиционной компании "Карлайл Груп" со штаб-квартирой в Вашингтоне. Её отделения имеются в 20 странах Америки, Европы, Азии и Австралии. К 2007 г. "Карлайл" стал крупнейшей подобной фирмой в мире, а сам Рубенстайн, по данным журнала "Форбс", входил в число двухсот богатейших людей Америки. Кроме того, он член Советов директоров Института мировой экономики и Американского совета по Германии и член коллегии советников "Джей-Пи-Морган-Чейз".

В 2000-е годы Рубенстайн проявил себя как щедрый филантроп, в основном – в области образования. Он входит в группу американских миллиардеров, обязавшихся пожертвовать более половины своего состояния на глаготворительные цели. Рубенстайн - член попечительских советов Университета Дьюка и Чикагского университета, он сделал крупные пожертвования Университету Джонса Хопкинса и Школе государственного управления им. Кеннеди Гарвардского университета. Он занимает посты вице-президента Линкольн-центра в Нью-Йорке и главы Попечительского совета Кеннеди-центра в Вашингтоне (с 2010 г.).

В 2007 г. Дэвид Рубенстайн купил на аукционе Сотбис в Нью-Йорке список Великой хартии вольностей - один из 17 сохранившихся до наших дней и последний из находившихся в частном владении - и поместил его в Национальный архив в Вашингтоне.

Имя Дэвид - английская форма библейского имени Давид. Фамилия Рубинштейн образована немецкими словами Rubin - "рубин" и Stein - "камень".

Вне Нью-Йорка

Рубенстайн-Холл в Университете Дьюка, Дарем, Северная Каролина, США.