Либлинг вырос в состоятельной еврейской семье. В 1920 г., окончив школу, поступил в Дартмут-колледж, затем перевёлся в Школу журналистики Колумбийского университета. Получив диплом, работал в газете "Ивнинг Бюллетин" в Провиденсе, Род-Айленд.

В 1926-27 гг. Либлинг жил в Париже - изучал средневековую французскую литературу в Сорбонне и увлечённо впитывал французкую культуру, язык, обычаи. По возвращении в Америку, поселился в Нью-Йорке, писал для "Уорлд" (1930-31) и "Уорлд-Телеграм" (1931-1935), принадлежавших Джозефу Пулитцеру. (Вначале, чтобы привлечь внимание Джеймса Барретта, редактора городских новостей "Уорлда", Либлинг нанял безработного, который в течение трёх дней носил плакат "Наймите Джо Либлинга" перед Пулитцер-Билдингом на Парк-роу. Как оказалось впоследствии, Барретт пользовался другим входом и никогда не видел этого плаката.)

Либлинг пришёл в журнал "Нью-Йоркер" в 1935г. и оставался его сотрудником до конца жизни. Во время Второй мировой войны он прославился как военный корреспондент, работавший в Северной Африке, Британии и Франции, участвовал в высадке союзников в Нормандии и в освобождении Парижа. За его статьи этого периода французское правительство наградило его Крестом Почётного Легиона.

После войны Либлинг продолжал работать в "Нью-Йоркере" - ежемесячно выходили его статьи, посвящённые критике американской прессы. В конце 40-х он не побоялся выступить против зловещей Комиссии по антиамериканской деятельности. Постоянными областями его журналистского интереса были бокс, скачки и ресторанная критика, но случалось ему писать, в присущем ему блестящем стиле, и на многие другие темы. В 2002 г. по опросу, проведенному журналом "Спортс Иллюстрейтед", сборник его статей о боксе "The Sweet Science" был признан лучшей книгой о спорте всех времён.

Имя Абботт - от английского слова, означающего "аббат". Имя Джозеф - английская форма библейского имени Йосеф. Фамилия Либлинг происходит от немецкого слова либлинг, которое означает "любимый".