Ширли познакомилась со своим мужем Майлзом Фитерманом во время учёбы в Миннесотском университете. У них было четверо детей. Фитерманы собрали обширную коллекцию доколумбовых, африканских и современных произведений искусства. Они делились ценными работами из своей коллекции со многими музеями, среди которых Центр искусств Уокера, Институт искусств Миннеаполиса, Музей Нортона в Пам-Бич, Тель-Авивский музей искусств, Музей Тель-Авива и др. Майлз и Ширли создали семейный фонд Miles and Shirley Fiterman Charitable Foundation, через который осуществляли широкую благотворительную деятельность в сфере образования и медицины. В 1993 г. они подарили 15-этажное здание в Нижнем Манхэттене муниципальному колледжу округа Манхэттен Городского университета Нью-Йорка. В честь супругов Фитерман назван Еврейский образовательный центр при синагоге Линкольн-Сквер на Амстердам-авеню.

Имя Шёрли происходит от названия местности, означающего "ясный луг" на древнеанглийском языке. Имя Мэй означает по-английски "дева" или "цветок боярышника". Происхождение фамилии Фитерман не установлено.