Отец Мордехая Элияху происходил из семьи багдадских раввинов и умер, когда мальчику было 11 лет. Мордехай учился в йешиве "Порат Йосеф" у раввина Эзры Аттьи. Позже был очень близок к рабби Исраэлю абу-Хацире, известному также как Баба-Сали. В 1948 г. участвовал в обороне еврейского квартала Старого города Иерусалима от иорданцев. В 1950 г. был одним из лидеров подпольной организации "Брит Канаим", требовавшей установить в Израиле теократическую систему. Рав Элияху клеил воззвания и устраивал разгромы магазинов, которые торговали некошерными продуктами, сидел за это 10 месяцев в тюрьме.

В 1960 г. Элияху сдал необходимые экзамены и стал самым молодым религиозным судьёй в Израиле, был избран судьёй раввинского суда в Беэр-Шеве. В 1960 г. по просьбе главного раввина Ицхака Нисима перевёз из Италии останки рава Хаима Йосефа Давида Азулая и перезахоронил их в Израиле. В 1964 г. он был переведен в иерусалимский суд, а с 1967-го являлся членом высшего раввинского суда при главном раввинате. Рав Элияху еженедельно публиковал статьи на тему недельной главы Торы в издании "Коль Цофьях".

В 1983 году Мордехай Элияху сменил Овадью Йосефа на посту главного сефардского раввина Израиля и пробыл на этом посту 10 лет. Он был известен своими строгими галахическими постановлениями и считался духовным лидером национально-религиозного лагеря Израиля и партии "Мафдал". После принятия правительством решения об одностороннем размежевании с Газой рав Элияху выступал с критикой плана на демонстрациях и митингах оппозиции. В интервью в канун Рош ха-Шана Элияху рекомендовал солдатам воздерживаться от выполнения команд по выселению евреев.

25 апреля 2008 года, в седьмой день Песаха, у Элияху случился острый инфаркт миокарда, после чего ему сделали неудачную катетеризацию, а затем - коронарное шунтирование. Через два года он умер.

Имя Мордехай - вариант библейского имени Мардохей, от персидского выражения "слуга (бога) Мардука". Имя Цемах означает "отросток" на иврите. Фамилия Элиаху - библейского происхождения, значение - "Яхве мой Бог".