Аврум Альперштейн изучал Тору, а затем Вавилонский и Иерусалимский Талмуд в Вильно (ныне Вильнюс) и в Ковно (ныне Каунас). Получил раввинское звание от р. Мельцера из Лиды и р. Шахновича из Бельска. Служил раввином в синагоге "Каменицер" в Вильне и в синагоге "Зевах Цедек" в Слабодке под Ковно.

В 1881 г. р. Альперштейн эмигрировал в Америку и стал раввином синагоги "Хал Адат Ешурун" в Нью-Йорке. В 1881 г. он перебрался в Чикаго, где в течение 15 лет служил раввином в различных синагогах. В эти годы он опубликовал трактат "Биккурим" Иерусалимского Талмуда со своими комментариями, которые получили высокую оценку авторитетного раввина Джейкоба Джозефа из Нью-Йорка. Это стало первой публикацией части Талмуда в Соединённых Штатах.

В 1899-1901 гг. р. Олперстайн служил в Сент-Поле, столице Миннесоты, после чего вернулся в Нью-Йорк, став раввином синагоги "Ягустава" на Ратгерс-стрит. Его энергия и ораторский талант способствовали созданию Теологической семинарии им. р. Айзека Элканана (RIETS), позже преобразованную в Университет Ешива. Он был выдающимся общинным лидером и преподавателем Торы, участвовал в создании ряда новых синагог и ешив.

Берта Олперстайн, вдова рабби Олперстайна, в память о нём основала "Beth Abraham Home for the Incurably Sick" (Дом Авраама для неизлечимых больных), позже преобразованный в Beth Abraham Health Services (Служба здоровья "Дом Авраама"). Ныне в состав этой организации входит поликлиника и больница "Beth Abraham", а также несколько расположенных в этом же районе жилых домов для пожилых людей и инвалидов.

Имя Аврахам - в честь библейского патриарха Авраама. Имя Элиэзер - библейского происхождения, "Эли" означает "мой Бог", "эзер" - "помощь". Фамилия Альперштейн происходит от названия немецкого города Хайльбронн (земля Баден-Вюртемберг) или от мужского имени Albert, с добавлением слова Stein - "камень".