Роберт Рубин окончил в 1953 г. Йельский университет, получил степень магистра деловой администрации в Гарвардской школе бизнеса, служил в Финансовом корпусе Армии США, демобилизовался в звании первого лейтенанта. С 1958 г. работал в инвестиционном банке "Лиман Бразерс", в 1967 г. получил должность партнёра, с 1972 г. входил в состав правления банка. Позже Рубин был вице-президентом чикагской Bank One Corporation, в 1989-2001 гг. был управляющим директором Smith Barney Asset Management, в 2001-2015 гг. - старшим вице-президентом крупнейшего банка "Джей-Пи Морган Чейз". С 2015 г. - член правления CARBO Ceramics. Филантропическая деятельность Рубина была связана в основном с культурными учреждениями Бруклина. С 1968 г. он входит в Попечительский совет Бруклинского художественного музея. В 1990-2006 гг. он был президентом музея и в 1999 г. защищал его позицию в споре с мэром Джулиани по поводу “Sensation", скандальной работы британского художника. В честь Рубина и его жены Марты назван Martha A. and Robert S. Rubin Pavilion в Бруклинском музее. Они также делали крупные пожертвования Бруклинской публичной библиотеке и Бруклинскому детскому музею, в котором Рубин в течение многих лет был президентом.

Имя Роберт происходит от германского имени Хродеберт, что означает "яркая слава". Фамилия Рубин происходит от библейского имени Реувен (Рувим) или от немецкого слова Rubin -  "рубин" (драгоценный камень).