Милтон рос во время Великой Депрессии, наблюдая, как его отец теряет один бизнес за другим. Во время Второй мировой войны Милтон принимал участие в боях на Тихоокеанском театре военных действий. После войны занимался недвижимостью. В 1965 г. женился на Люсиль Гордон, дочери Самсона Гордона, основателя компании "Сэмроуз Менеджмент", владевшей значительной недвижимостью в Нью-Йорке. После смерти Сэмсона Милтон и Люсиль совместно управляли "Сэмроуз Менеджмент" - и притом весьма успешно. Среди главных объектов благотворительности супругов Коулман - Храм Эману-Эль и Пресвитерианская больница в Верхнем Ист-Сайде. В этой больнице они лечились и пожертвовали ей 70 млн. долларов.

Имя Милтон - от старо-английского "mill town" - "фабричный посёлок". Еврейская фамилия Коулман - англизированная форма идишского имени Калман, восходящего к греческим элементам kallos - "красота" и onyma - "имя".