В 9-летнем возрасте Рудольф был отправлен учиться в Вену, где занимался у Йозефа Маркса (композиция) и Рихарда Роберта (фортепиано). В 12 лет он дебютировал с оркестром Венской филармонии. В 1918-20 гг. учился композиции у Арнольда Шёнберга, активно участвовал в шёнберговском Обществе частных музыкальных представлений, организовывавшем концерты новейшей музыки. С 1920 г. обосновался в Берлине, регулярно концертировал по Германии и другим европейским странам - как с сольными программами, так и в дуэте со скрипачом Адольфом Бушем и Квартетом Буша.

После прихода к власти в Германии нацистов Сёркин переехал в Швейцарию. На протяжении 1930-х гг. часто выступал в США - в частности, в 1936 г. дал первый концерт с Нью-Йоркским филармоническим оркестром под управлением Артуро Тосканини, а в 1937 г. выступил с первым сольным концертом в Карнеги-холле. Эти выступления, с энтузиазмом встреченные критикой, позволили ему обосноваться в США с началом Второй мировой войны.

В США Сёркин по-прежнему много выступал и записывался, отпраздновав, в частности, в марте 1972 г. Первым концертом Иоганнеса Брамса свое 100-е выступление с Нью-Йоркским филармоническим оркестром. Как педагог вместе с Бушем основал в 1951 г. летнюю школу музыки и музыкальный фестиваль в Марлборо, что способствовало развитию камерного исполнительства в США. Многие годы преподавал фортепиано в Кертисовском институте музыки, а в 1968-76 гг. возглавлял его. Был удостоен ряда профессиональных и государственных наград, в т. ч. Президентской медали Свободы - одной из высших почестей в США.

Имя Рудольф состоит из старонемецких слов hrōd - "слава, честь" и wolf - "волк". Фамилия Сёркин произошла от идишской формы библейского имени Сара.