После ранней смерти отца Сабарски зарабатывал на жизнь в знаменитом кабаре "Симплициссимус": устанавливал декорации, работал клоуном. После аншлюса Австрии бежал сначала во Францию, потом в Америку. Во время Второй мировой войны три года служил в американской армии, после войны поселился в Нью-Йорке, занимался дизайном и торговал произведениями искусства. Уже его первая галерея, открытая в конце сороковых, пользовалась огромным успехом. К началу шестидесятых годов Сабарски был известным коллекционером и арт-дилером. К этому периоду относится его знакомство с бизнесменом и коллекционером Роналдом Лаудером. Со временем общие вкусы и увлечения превратили это знакомство в дружбу. Долгие годы коллекционеры мечтали о создании музея, целиком и полностью посвященного австрийскому и немецкому модернизму начала 20-го века. В 1994 г. они выкупили изящный особняк на Музейной миле на Пятой авеню. После реставрации (архитектор Аннабел Сельдорф) музей в 2001 году открыл свои двери для посетителей.

Имя Серж (Сергей) произошло от римского родового имени Sergius, в переводе с латыни - "высокий", "знатный". Фамилия Забарский - топоним от названия села Забара в Житомирской области Украины.