Setelah lulus dari St. Mary's College of California pada tahun 1996 dengan gelar komunikasi massa, Ali mengambil program akting di Tisch School of the Arts, Universitas New York. Ia meraih gelar master pada tahun 2000.
Karirnya dimulai sebagai aktor televisi dengan menjadi pemeran tetap dalam serial Crossing Jordan (2001-2002) dan Threat Matrix (2003-2004). Namun, peran yang membawa namanya dikenal luas adalah sebagai Richard Tyler dalam serial fiksi ilmiah The 4400 (2004-2007). Pada tahun 2008, Ali mendapatkan peran utama pertamanya dalam film fantasi The Curious Case of Benjamin Button yang disutradarai oleh David Fincher.
Prestasi besar pertama Ali datang pada tahun 2016 ketika ia memenangkan Academy Award untuk Aktor Pendukung Terbaik atas penampilannya sebagai seorang pengedar narkoba dalam film drama Moonlight. Pada tahun 2018, ia kembali memenangkan Academy Award untuk Aktor Pendukung Terbaik atas perannya sebagai Don Shirley dalam film komedi-drama Green Book. Ali menjadi aktor Muslim pertama yang memenangkan Oscar, aktor kulit hitam pertama yang memenangkan dua Academy Awards dalam kategori yang sama, dan aktor kulit hitam kedua yang memenangkan beberapa Oscar.
Selain film, Ali juga tampil dalam serial televisi seperti House of Cards, True Detective, Ramy, dan Luke Cage. Ia juga menjadi produser eksekutif untuk program anak-anak yang memenangkan Primetime Emmy Award, We Are the Dream: The Kids of the Oakland MLK Oratorical Fest (2020).
Mahershala Ali adalah seorang aktor yang diakui dunia. Pada tahun 2019, majalah Time menobatkannya sebagai salah satu dari 100 orang paling berpengaruh di dunia, sementara The New York Times menempatkannya sebagai salah satu dari 25 aktor terbesar abad ke-21 pada tahun 2020. Dengan prestasi, talenta, dan ketekunan yang dimilikinya, Mahershala Ali terus mengukir kesuksesan dalam dunia akting.