Родился в семье иммигрантов из Российской империи. Сразу по окончании Колумбийского университета (1928) присоединился к нью-йоркской строительной компании, принадлежавшей его отцу.  Позднее был вице-президентом пароходной компании American Foreign Steamship Corporation, основанной его отцом. Калмон Гинзберг был активным членом Федерации еврейских филантропов.