Дэвида привезли в Соединённые Штаты младенцем. Он вырос в Гарлеме, бросил школу в 13 лет и начал работать экспедитором. В возрасте 19 лет Дэвид и его друг и однофамилец Уильям Шворц основали компанию по торговле готовой одеждой TrueSize Dress Co. В 1937 г. Д. Шворц купил крошечную компанию Jonathan Logan Dress Co. с 10 сотрудниками и превратил её в крупнейшую в США компанию, торговавшую женской одеждой.

В 1960 г. "Джонатан Логан" стал первой подобной компанией, представленной на Нью-Йоркской фондовой бирже. Это стало возможным благодаря слиянию с компанией Butte Copper & Zinc Co., горнодобывающей компанией, которая уже ранее была зарегистрирована на бирже. Другим следствием этого слияния стало создание нового лейбла - Butte Knit, который вскоре стал одним из самых ценных брендов компании. Под этим брендом Шворц сумел наладить массовое производство двухфонтурной кругловязаной ткани, благодаря чему годовой объём продаж "Джонатан Логан" достиг 100 миллионов долларов.

Со временем "Джонатан Логан" стал владельцем 14 разных брендов, включая Bleecker Street и Youth Guild, и одним из первых начал продавать бренды другим компаниям. В 1965 г. Шварц передал компанию своему сыну Ричарду, окончившему Корнелльский университ, но сам остался её председателем и занялся благотворительностью. В этой деятельности участвовала и его жена Айрин.

Он был одним из первых спонсоров Еврейской мемориальной больницы и Медицинского колледжа им. Альберта Эйнштейна, которому в 1961 г. пожертвовал 1 миллион долларов. Шварц поддерживал Объединённый Еврейский Призыв и внёс большой вклад в такие образовательные учреждения, как Нью-Йоркская университетская больница, Школа права им. Кардозо, Еврейский университет в Иерусалиме и Университет им. Брандайса. В последнем он был членом Попечительского совета и получил почётную докторскую степень. Дэвид Шворц полностью отошёл от дел в 1977 году.

Имя Дэвид - английская форма библейского имени Давид. Фамилия Шварц произошла от идишского слова шварц, которое означает "чёрный".