Гилфорд вырос в Вильямсбурге (Бруклин), его родители - румынские евреи. В юности проявил себя как талантливый пародист, имитатор и мим, выступал на любительской сцене, затем в ночных клубах, в комедиях и водевилях на еврейских сценах Второй авеню. В 1940-х годах играл в нескольких офф-Бродвейских спектаклях, снимался в кино. В эпоху маккартизма его актёрская карьера прервалась - в 1953г. его имя попало в "чёрные списки" Голливуда. Лишь в конце 50-х Гилфорд снова стал получать роли - сначала на Бродвее, затем в кино и на телевидении. В 70-х и 80-х он снялся во многих популярных телесериалах, получил премию "Эмми" (1979), неоднократно номинировался на премии "Оскар" (за роли второго плана) и "Тони".