Плохое зрение помешало Голдбергу вступить в армию во время Второй мировой войны. Почти всю войну он прослужил в Бруклинских силах гражданской обороны, сначала рядовым добровольцем, а затем квартальным лидером и районным командиром. За отличную службу был награждён губернатором Нью-Йорка Авереллом Гарриманом. Голдберг был также одним из основателей общинной организации "Гражданская лига Марльборо", занимавшейся благоустройством района, и активистом местного отделения Демократической партии.

Имя Сэмюэл - английская форма библейского имени Самуил. Фамилия Гольдберг произошла от идишских

слов голд - "золото" и берг - "гора".