Ed Harris lahir di Tenafly, New Jersey, dari orang tua yang berasal dari Oklahoma. Orang tuanya adalah Margaret, seorang agen perjalanan, dan Robert Lee Harris, pekerja toko buku yang juga menyanyi secara profesional. Ia tumbuh sebagai anak tengah dari tiga bersaudara dan menamatkan pendidikan di Columbia University di New York, di mana ia bermain football.

Setelah menonton produksi teater lokal, Harris tertarik pada dunia akting dan kemudian meninggalkan Columbia untuk kuliah di University of Oklahoma, jurusan teater. Setelah lulus, ia pindah ke Los Angeles, mulai berkarir di teater dan televisi, serta mendapatkan peran utama pertamanya dalam film Knightriders (1981).

Puncak karirnya datang saat memerankan astronaut John Glenn dalam The Right Stuff (1983) dan tampil di panggung teater Broadway dalam Fool for Love, yang membuatnya meraih Obie Award. Pada tahun 2000, Harris memulai debut penyutradaraannya melalui film Pollock, yang memenangkan Oscar.