dwukrotnie żonaty: 1. Kathleen Wellman (od 28.03.1960, rozwód), 4 córki: Jamie, Kellie, Corie i Jolie; 2. Carla Ankney Franciscus (od 1980 do jego śmierci)
To on pierwotnie miał zagrać rolę Doktora Kildare'a w serialu telewizyjnym, ale był związany z innym projektem (nigdy nie realizowanym) i rolę dostał Richard Chamberlain.
W 1959 roku Norman Lear wyprodukował pilot do komedii "Band of Gold", w którym James i Suzanne Pleshette grali każdego tygodnia inną parę. Projekt został jednak uznany za zbyt eksperymentalny i nigdy go nie wytransmitowano.