Отец Арнольда был совладельцем компании Atlantic Hardware & Supply, занимавшейся торговлей стройматериалами. Арнольд вырос в Бронксе, окончил  Школу бухгалтерского учёта и финансов Нью-Йоркского университета. Он стал соучредителем компании Samson Management - одной из крупнейших в Нью-Йорке компаниий по управлению недвижимостью. Арнольд Голдстайн был также председателем исполкома Ассоциации по стабилизации квартплаты в Нью-Йорке, членом Консультативной группы по кооперативам и кондоминиумам при министре юстиции США, директором Консультативного совета по долгосрочному уходу штата Нью-Йорк. С 1978 г. Голдстайн служил в правлении Hebrew Hospital Home, шестого по величине некоммерческого дома престарелых в штате Нью-Йорк, и занимал там пост председателя с 1993 года. Он основал Фонд Арлин и Арнольда Гольдстайнов, который поддерживал различные медицинские и еврейские организации и социальные программы. В честь супругов Голдстайн назван Хирургический центр Колумбийского университета (173 Fort Washington Avenue).

Имя Арнольд - от германских элементов arn - "орёл" и wald - "сила". Фамилия Гольдштейн происходит от немецких слов Gold - "золото" и Stein - "камень".