Вольфензон окончил Сиднейский университет (бакалавр искусств и права). Он был членом сборной Австралии по фехтованию на Олимпийских играх в Мельбурне (1956) и офицером Австралийского Королевского Воздушного Флота. Работал в известной юридической фирме Сиднея. В 1959г. окончил Школу бизнеса Гарвардского университета (магистр деловой администрации).
   После Гарварда Вольфензон работал в финансовых учреждениях Швейцарии и Австралии, затем в австралийском отделении лондонского инвестиционного банка "J. Henry Schroders". После нескольких лет работы на высоких должностях в штаб-квартире этого банка в Лондоне Вольфензон в 1970г. был назначен руководителем нью-йоркского отделения банка.
      В 1976г. Вольфензон занял пост исполнительного директора инвестиционного банка "Саломон Бразерс", а в 1980-ом, получив американское гражданство, основал собственную компанию "James D. Wolfensohn, Inc".
      С 1995 по 2005г. Джеймс Вольфензон занимал пост президента Всемирного Банка. За это время он посетил 120 стран стран мира. Его заслугой считается борьба с коррупцией в международных финансовых организациях. По окончании его второй каденции во Всемирном Банке Вольфензон в течение года был наблюдателем Ближневосточного квартета по разъединению в Газе. Ему принадлежала идея выкупить за 14 млн. долларов принадлежавшие израильтянам теплицы и подарить их арабскому населению Газы. Эти теплицы были  разграблены и разгромлены в первый же день после вывода израильских войск.

      С 2005г. Вольфензон возглавляет основанную им фирму "Wolfensohn & Company, LLC", которая занимается инвестированием и стратегическим консультированием правительств и корпораций, работающих на развивающихся рынках. Вольфензон - член Попечительского совета Брукингского института, Рокфеллеровского Фонда, в прошлом также Института перспективных исследований в Принстоне; почётный председатель Карнеги-Холла и Центра исполнительских искусств им. Кеннеди в Вашингтоне; член Совета по международным отношениям США. Награждён Орденом Австралии (1987), Орденом Британской Империи (1995) и рыцарским званием, почётный доктор Университета Нового Южного Уэльса (2006).

Вне Нью-Йорка

В его честь назван Wolfensohn Center for Development at the Brookings Institution в столице США Вашингтоне.