Семья Силвера, в которой он был младшим из шести детей, перебралась в Америку в 1889г. и поселилась в Нижнем Ист-Сайде. В 15 лет он бросил школу и, чтобы помочь семье, начал работать рассыльным в Америкнской шерстяной компании. Силвер оказался весьма успешным в бизнесе - в 1954г. он вышел в отставку с постов вице-президента и управляющего этой компании.
      С 1928г. он стал членом Совета попечителей больницы Бет-Израэл, а с 1945 по 1984г. был президентом Бет-Израэл - дольше, чем кто-либо другой до или после него.
   В 1952г. мэр Нью-Йорка Винсент Импеллитери включил Силвера в состав городского Комитета по образованию, а в январе 1955г. Силвер был избран президентом этого комитета и занимал этот пост до конца 1961г. Он был также советником делегации США в женевской Комиссии ООН по правам человека, одним из основателей Медицинского колледжа им. Эйнштейна, президентом Храма Бнай-Ешурун в Нью-Йорке и Интернациональной синагоги в аэропорту им. Кеннеди.
      Силвер стал первым лауреатом премии "Человек 20-го столетия", учреждённой Национальной конференцией христиан и евреев. Был также награждён израильской Медалью Победы, почётными степенями университетов Ешива, Сент-Джонс и Фордэм.