Roy Scheider lahir pada November 1932 di Orange, New Jersey, dari keluarga yang beragam keturunan Jerman dan Irlandia. Sejak muda, ia adalah penggemar olahraga, aktif dalam baseball dan tinju, bahkan menderita hidung patah dalam kompetisi Golden Gloves. Selepas kuliah di Rutgers dan Franklin and Marshall, ia mengalihkan minat dari olahraga ke dunia seni peran dan memulai karier di teater, termasuk tampil di New York Shakespeare Festival dan meraih Penghargaan Obie untuk perannya di panggung.

Karier film-nya dimulai dari film horor low-budget The Curse of the Living Corpse (1964). Ia kemudian tampil di film seperti Star! (1968), Puzzle of a Downfall Child (1970), dan meraih perhatian nasional lewat perannya dalam Klute (1971). Pada tahun yang sama, Scheider mendapat nominasi Oscar pertama berkat perannya sebagai Det. Buddy Russo dalam The French Connection. Ia dikenal sebagai aktor yang mampu membawakan karakter keras dan tegas, seperti polisi dan detektif.

Kesuksesan besar datang saat ia membintangi Jaws (1975), di mana ia berperan sebagai kepala polisi Chief Brody yang berhadapan dengan hiu putih raksasa. Film ini menjadi blockbuster dan mencatat rekor sebagai film terlaris saat itu. Ia lalu berperan dalam Marathon Man (1976) dan Jaws 2 (1978). Pada 1979, ia membintangi All That Jazz sebagai Joe Gideon, peran yang membawa nominasi Oscar lain dan menunjukkan sisi berbeda dari dirinya sebagai aktor.

Setelah itu, Scheider sering tampil dalam film bertema aksi dan pemerintahan, seperti Blue Thunder (1983), peran ilmuwan di 2010 (1984), dan sebagai hitman di Cohen and Tate (1988). Ia juga tampil di serial TV populer Seaquest DSV (1993), memerankan kapten kapal selam futuristik. Sayangnya, popularitasnya menurun, dan ia kemudian banyak tampil di film-film B-grade dengan peran pendukung sebagai presiden atau pejabat militer, hingga akhir kariernya.