Oтец Симора, еврей-иммигрант из Горлицe, Австро-Венгрия (ныне Польша), прибыл в США без гроша, но в итоге стал успешным производителем одежды, а затем переключился на операции с недвижимостью. Симор окончил нью-йоркскую частную школу им. Хорэса Манна в Бронксе и Университет Южной Калифорнии (1935). В 1940 г. он присоединился к Организации Дёрста, основанной его отцом, которая инвестировала в основном в манхэттенскую недвижимость. После смерти отца в 1974 г. Симор взял семейный бизнес под свой контроль. В 1989 г., озабоченный растущим долгом США, он придумал и установил в Нью-Йорке "Часы национального долга" - табло, показывающее долг страны и долю в нём каждой американской семьи на текущую минуту. Часы несколько раз меняли своё расположение, их содержание стоило Дёрсту 2000 долларов в месяц. Симор Дёрст - автор книг "Holdouts! The Buildings that Got in the Way" и "Your Future in Real Estate", он собрал уникальную коллекцию книг и других материалов по истории Нью-Йорка. У него было четверо детей, а его жена Бернис Херстайн погибла в 32 года при загадочных обстоятельствах. После смерти Симора Организацию Дёрста возглавили его сын Дуглас и племянник Джонатан.

Имя Симор - норманское, от названия города Сен-Мор (ныне пригород Парижа). Имя Бернард - германского происхождения, от слов Bern  - "медведь" и hard - "смелый, сильный". Фамилия Дёрст - от немецкого слова Durst - "жажда".