Armin Mueller-Stahl lahir pada tahun 1930 di Tilsit, Prusia Timur (sekarang Sovetsk, Rusia). Ia berasal dari keluarga akademik; ayahnya, Alfred Müller, adalah bank teller yang kemudian berganti nama, dan ibunya, Editha Maaß, seorang profesor universitas dari keluarga Baltic Jerman. Ia tumbuh di masa Weimar Republic dan masa Nazi Germany.

Selama Perang Dunia II, ayahnya meninggal di medan perang tahun 1945, dan keluarga sempat tinggal di Goorstorf sebelum kembali ke Prenzlau. Ia menyelesaikan pendidikan sekolah dan berambisi menjadi pemain biola. Pada 1948, pindah ke Berlin dan belajar musik di konservatori, lulus tahun 1949, dan berprofesi sebagai guru musik.

Namun, ia memulai karier akting di teater Berlin pada 1952 dan bergabung dengan Volksbühne pada 1954. Selama 20 tahun, Mueller-Stahl dikenal sebagai aktor teater dan mulai muncul di film film Jerman Timur sejak 1960-an. Ia menjadi aktor papan atas di E. Germany dan membintangi serial terkenal seperti The Invisible Visor.

Pada 1976, ia menentang kebijakan pemerintah yang memulangkan Wolf Biermann, yang menyebabkan dia masuk daftar hitam di E. Germany dan memutuskan hijrah ke Jerman Barat. Di sana, ia terus aktif di film dan mendapatkan peran di film internasional, termasuk debut Hollywood di Music Box (1989) dan film adaptasi karya Franz Kafka.

Kariernya menanjak di dunia internasional, meraih penghargaan di Berlinale, nominasi Oscar, dan terkenal lewat peran-peran penting di film seperti Utz, Eastern Promises, dan Angels & Demons. Sejak 2011, ia menerima penghargaan Golden Bear kehormatan di Berlin festival dan memilih beristirahat di California, menulis buku dan melukis.