Ни у кого в семье Эрлангеров не было образования выше начального, и лишь Джозеф - шестой из семерых детей - смог поступить в колледж. В 1895 г. он закончил Калифорнийский университет в Беркли и поступил в Медицинскую школу Университета Джонса Хопкинса в Балтиморе, Мэриленд. Работы по эмбриологии, которые Эрлангер выполнил на старшем курсе, показали его способность к научной деятельности. В 1899 г. он получил медицинский диплом и после года работы интерном получил должность ассистента в той же Медицинской школе. В последующие годы он занимался исследованием регуляции кровяного давления и проведения возбуждения от предсердий к желудочкам сердца.

 В 1906 г. Эрлангер принял предложение возглавить кафедру в новой медицинской школе Висконсинского университета в Мэдисоне. Спустя четыре года он переехал в Сент-Луис, где стал заведующим кафедрой физиологии медицинской школы Вашингтонского университета. Следующие пять лет он посвятил административной работе на кафедре, на которой ему предстояло работать в течение 35 лет. В 1915 г. он снова вернулся к изучению кровяного давления.

Важнейшее открытие, которое Эрлангер и его ученик Герберт Гассер сделали в 1930-х годах с помощью построенного ими осциллоскопа, состояло в подтверждении гипотезы о том, что толстые волокна проводят нервные импульсы быстрее, чем тонкие. Гипотеза эта была высказана в 1906 г. шведским физиологом Густафом Готлином, однако проверить её раньше было невозможно. За это открытие в 1944 г. Эрлангеру и Гассеру была присуждена Нобелевская премия по физиологии и медицине.

Как исследователь и преподаватель Эрлангер оказал большое влияние на развитие нейрофизиологии в Соединённых Штатах. В 1946 г. он вышел на пенсию, получив звание почётного профессора в Вашингтонском университете, и продолжал вести научные исследования и публиковать статьи. Эрлангер был членом Национальной академии наук США и ряда научных обществ, обладал почётными степенями семи университетов. Дом Эрлангера в Сент-Луисе, построенный в 1903 г., был признан национальным историческим памятником в 1976 г.

Имя Джозеф - английская форма библейского имени Йосеф, означающего "будет добавлен". Эрлангер - немецкая топонимическая фамилия, происходящая от названия города Эрланген.

Вне Нью-Йорка

Памятный знак установлен на Бульваре Нобелевских Лауреатов в Ришон ле-Ционе, Израиль.

Вне Земли

В 2009 г. Международный астрономический союз назвал кратер на Луне именем Эрлангера.