Pred kratkim je praznoval 40. rojstni dan, je oče štirih otrok, poročen pa je že drugič. Svojo prvo ženo, Heather McComb, je spoznal prav na snemanju Simpatij. Njeni sestri je bila v nanizanki namreč dodeljena stranska vloga in prav ona je bil povezovalni člen med njima. Poročena sta bila sedem let, po ločitvi pa sta ostala v prijateljskih odnosih. Zdaj je poročen s producentko Kimberly Brook.
James se rad spominja snemanja “Dawson’s Creeka”, saj vedno rad poudari, da se je igralska ekipa med seboj odlično razumela. Ko je dobil vlogo 15-letnega Dawsona, je bil star 20 let, zato je takrat razmišljal, če bi vlogo sploh sprejel. Manj znano je, da se celo življenje bori z disleksijo, ter, da je bil odločen igralec ameriškega nogometa.
