Джеймс Толкан родился 20 июня 1931 года в городе Калумет, штат Мичиган. Отец Ральф (был скотопромышленником), мать Марджори. Учился в Университете Айовы, колледже Коу и в колледже Восточной Аризоны. Отслужил год в ВМС США, после чего закончил Актёрскую студию в Нью-Йорке.