Гэри окончил среднюю школу им. Лафайета в Бруклине. Учился в Университете им. Брандайса и в университете штата в Сан-Диего, Калифорния. В 1970-х годах Голдберг и его жена Дайана Михан основали детский сад в Беркли, штат Калифорния. Голдберг начал свою карьеру в шоу-бизнесе  в 1972 г. в Израиле, сыграв главную роль в обучающем шоу "Приключения Скутермэна". В 1976 г. он начал работать на телестудию CBS, став одним из сценаристов комедийного шоу "The Bob Newhart Show". За этим последовали "The Dumplings", "The Tony Randall Show", а затем "Lou Grant", в котором  он был также продюсером. В 1982 г. Голдберг создал собственную компанию Ubu Productions и запустил знаменитое шоу "Семейные связи", которое шло в течение семи сезонов и затем неоднократно повторялось на разных каналах. В 1989 г. он выступил как продюсер и режиссёр художественного фильма "Dad" с участием Джека Леммона. За этим фильмом последовали комедии "Bye Bye Love" (1995) и "Must Love Dogs" (2005). Большим успехом также пользовались полуавтобиографический сериал "Бруклинский мост" (1991-93) и телешоу "Спин-Сити" (1996-2002), которые продюсировал Голдберг. Он получил две премии Эмми (1979, 1987) и четыре награды Гильдии писателей Америки (1979, 1988, 1998, 2010). Умер от рака мозга.

Имя Гэри - вариант имени Генри, английской формы германского имени Heimirich (позже Heinirich), состоящего из элементов heim - "дом" и ric - "власть". Имя Дэвид - английская форма библейского имени Давид. Фамилия Гольдберг произошла от идишских слов голд - "золото" и берг - "гора".