Двое из старших братьев Альфреда носили имена Исаак Ньютон Зилигман (1855-1917) и Джордж Вашингтон Зилигман (1858-1929). Согласно легенде, родители хотели назвать своего пятого сына в честь президента Линкольна, но побоялись, что “Эйбрахам Л. Зилигман" будет звучать слишком по-еврейски, и заменили "Авраам" на "Альфред".

В 1877 г. отцу Альфреда, одному из крупнейших банкиров Нью-Йорка с прочными связями в политической элите Вашингтона, было отказано в номере в "Grand Union Hotel" в Саратоге, Нью-Йорк, по причине его еврейского происхождения, что вызвало большой скандал - и осуждение антисемитизма большинством политиков и журналистов.

Альфред всю жизнь проработал в семейном деле - банкирском доме Зилигман. В свободное время он любил давать бесплатные уроки музыки нью-йоркским детям. Он был членом Нью-Йоркского музыкального общества и известным коллекционером скрипок.

Альфред Зилигман был также одним из основателей и вице-президентом "National Highways Protective Society" - организации, стремившейся упорядочить дорожное движение и боровшейся с безответственностью и неосторожностью водителей. По иронии судьбы, он погиб в одной из первых зарегистрированных автомобильных аварий.
 

Имя Альфред - древнеанглийского происхождения, состоит из элементов ælf - "эльф" и ræd - "совет". Зелиг означает "душа", "душенька" на идиш, ман - "человек".