James Gray lahir dan dibesarkan di Queens, New York. Awalnya bercita-cita menjadi pelukis, namun minatnya beralih ke perfilman saat mengenal karya sutradara terkenal seperti Francis Ford Coppola. Di usia 25 tahun, Gray membuat film debutnya, Little Odessa (1994), yang mendapat pujian kritis dan memenangkan Silver Lion di Festival Film Venesia.

Sekitar tahun 2000, Gray merilis film kedua, The Yards, yang juga sukses dan dipilih untuk kompetisi resmi di Festival Film Cannes. Sebelum menulis dan menyutradarai film, Gray belajar di Universitas Southern California dan membuat film mahasiswa berjudul Cowboys and Angels, yang menarik perhatian produser film.

Gray dikenal karena gaya naratifnya yang kuat dan penggambaran karakter yang mendalam, sering berlatar di Queens dan wilayah sekitarnya, memperlihatkan latar belakangnya yang kuat dalam kehidupan urban dan keluarga. Ia terus berkembang sebagai sutradara yang dihormati dengan karya yang penuh makna dan pengaruh.