Ed O'Neill lahir di Youngstown, Ohio, pada 12 April 1946 dengan nama lengkap Edward Philip O'Neill, Jr. Ayahnya, Ed Sr., seorang pekerja Baja dan sopir truk, dan ibunya, Ruth Ann Quinlan, adalah warga keturunan Irlandia-Amerika. Sejak muda, Ed dikenal sebagai atlet berbakat, mengikuti studi di Ohio University dan kemudian di Youngstown State University sebagai pemain lini pertahanan football.

Ia pernah direkrut oleh Pittsburgh Steelers pada tahun 1969, tetapi tidak masuk pelatihan, sehingga memilih beralih ke dunia seni pertunjukan. Setelah lulus, ia menjadi guru sosial di sekolah menengah dan kemudian bergabung di American Repertory Theater, memperkuat pengalaman aktingnya.

Setelah mendapatkan berbagai peran pendukung di film dan televisi, Ed memerankan detektif Popeye Doyle dalam film TV 1986, yang dinilai baik tetapi tidak dilanjutkan sebagai serial. Ia kemudian memopulerkan karakter Al Bundy di Married with Children yang debut tahun 1987 dan berjalan selama 10 tahun, mengukuhkan ketenarannya.

Selama dan setelah masa tayang Married with Children, ia tampil di film dan acara TV lain, termasuk peran Sgt. Joe Friday dalam Dragnet tahun 2003. Sejak 2009, ia memerankan Jay Pritchett di Modern Family, dan nominasi Emmy pun diraihnya pada 2011. Ia telah menikah dengan Catherine Rusoff sejak 1986 dan memiliki dua putri, Claire dan Sophia.