Эвери Фишер окончил Нью-Йоркский университет в 1929 г. Занимался рекламой, затем издательским делом. С 30-х годов работал в области звукозаписи и радиодела, в 1937 г. основал собственный бизнес "Филармоник Радио", с 1945 г. владелец фирмы "Фишер Радио". Будучи скрипачом-любителем, он уделял много внимания улучшению качества звука в записывающих и передающих устройствах.

В течение 50-х годов Фишер изобрёл и внедрил в производство несколько важных технических новшеств: транзисторный усилитель (1956), стереофонический проигрыватель (1958) и др. Это принесло Фишеру значительный коммерческий успех: в 1969 г. он продал свою фирму за 31 млн. долларов.

Оставшуюся часть жизни Эвери Фишер занимался благотворительностью, главным образом, в области академической музыки. В 1973 г. он передал 10,5 млн. долларов Нью-Йоркскому филармоническому оркестру, при этом основной концертный зал оркестра был переименован в Эвери-Фишер-Холл. В 1974 г. Фишер учредил ежегодную Премию Эвери Фишера, которая считается высшей наградой для исполнителей классической музыки в США. Награждён Медалью почёта Национального художественного клуба (Нью-Йорк).

Имя Эвери - от английской фамилии Эвери, происходящей от старофранцузской версии имени Альфред. Имя Роберт происходит от германского имени Хродеберт, что означает "яркая слава". Фамилия Фишер в переводе с немецкого означает "рыбак".