Карле окончил в 1933г. среднюю школу им. Линкольна в Бруклине, потом учился в нью-йоркском Сити-колледже, где изучал главным образом химию и биологию и в 1937г. получил степень бакалавра. Он продолжил образование в Гарварде, где через год ему была присуждена магистерская степень по биологии. В течение следующих полутора лет Карле работал в Департаменте здравоохранения штата Нью-Йорк в Олбани, а затем поступил в Мичиганский университет. В 1943г. он стал магистром, а в следующем году за диссертацию по газовой электронографии получил докторскую степень по физической химии.
   Во время второй мировой войны Карле был участником проекта военно-морских сил США, а позднее - ассистентом-исследователем Манхэттенского проекта по созданию атомной бомбы. После окончания войны он вошёл в штат военно-морской научно-исследовательской лаборатории в Вашингтоне. Здесь он снова встретился с Хербертом Хауптманом, своим сокурсником по Сити-колледжу. 50-е годы прошли под знаком их сотрудничества: оба работали над созданием прямого метода расшифровки трёхмерных молекулярных структур с помощью рентгеновской кристаллографии.

   Метод, разработанный Карле и Хауптманом, позволял непосредственно соотносить интенсивность и размещение точек на фотографиях сложных молекул с расположением атомов внутри молекулы. В 1953г. они опубликовали статью о результатах своей работы, которая было встречено со скептицизмом и даже враждебностью многими учёными, занимавшимися кристаллографией - мало кто из химиков разбирался в математическом аспекте этой процедуры. В результате Карле и Хауптман не получили никакой поддержки со стороны коллег, и прямой метод расшифровки структур оставался без применения в течение 15 лет. Признание проделанной ими работы пришло в конце 60-х годов, когда жена Карле, Изабелла Лугоски, физикохимик и сотрудник военно-морской научно-исследовательской базы, применила этот метод на практике при анализе больших молекул.
    Продолжая заниматься исследовательской работой в лаборатории военно-морских сил, Карле время от времени читал лекции по математике и физике в Мэрилендском университете, где занимал должность профессора (1951-70). Он выступал с лекциями в Великобритании, Германии, Италии, Канаде, Польше, Бразилии и Японии, кроме того, вёл ежемесячный Вашингтонский коллоквиум по кристаллам.

      В 1985г. Карле и Хауптману была вручена Нобелевская премия по химии "за значительные достижения по созданию непосредственных методов определения кристаллических структур". Карле удостоился также большого количества других научных наград. В 1986г. учёному была присвоена почётная докторская степень нью-йоркского Сити-колледжа. В 2009г. Карле и его жена вышли на пенсию, проработав в общей сложности 127 лет на правительство Соединённых Штатов.

Вне Нью-Йорка

Памятный знак на Бульваре Нобелевских Лауреатов в Ришон ле-Ционе, Израиль.