Гаставас прибыл в Нью-Йорк из Пруссии в 1854 г. вместе с матерью, тремя младшими братьями и сестрой (отец приехал отдельно). Они поселились вначале в Нью-Бедфорде, Массачусетс, затем перебрались в штат Миссури, где Вильгельм зарабатывал торговлей вразнос. Во время Гражданской войны вся семья перебралась в Нью-Йорк. В 1863 г. Гаставас основал фирму G. Sidenberg and Company, которая производила и импортировала женское бельё, кружева, воротнички, манжеты, вуали и т.п. В последующие 35 лет компания неуклонно расширялась, её коммивояжёров можно было встретить во всех штатах Америки. В 1892 г. Зайденберг купил отель "Уинтроп" в Гарлеме, а через 20 лет снёс его и построил на его месте отель "Териса", названный в честь его первой жены Терисы Голдсмит (1848-1910) и второй жены Терисы Вертхаймер-Гумбиннер (1858-?). В течение нескольких десятилетий это здание было самым высоким в Гарлеме. В 1898 г. Зайденберг купил место на Нью-Йоркской фондовой бирже и основал брокерскую фирму Sidenberg and Kraus, специализировавшуюся на торговле облигациями. Зайденберг был также патроном Метрополитен-Оперы и многочисленных еврейских благотворительных организаций.
 

Имя Густав (Гаставас) - шведское, неясного происхождения. Фамилия Зайденберг образована немецкими словами Seide - "шёлк" и Berg - "гора".