Stevens lahir sebagai anak angkat dari pasangan guru dan tumbuh besar di Wales dan tenggara Inggris. Ia memiliki seorang adik laki-laki bernama Jason Andrew Stevens (lahir 1984), yang juga diadopsi oleh orang tua yang berbeda. Stevens mendapatkan beasiswa untuk bersekolah di Tonbridge School, sebuah sekolah swasta di Kent. Di sana, ia tertarik pada dunia drama setelah mengikuti audisi untuk peran utama dalam Macbeth bersama dengan gurunya, yaitu novelis Jonathan Smith. Sejak usia 15 tahun, ia menghabiskan musim panasnya untuk berlatih dan tampil dengan National Youth Theatre di London. Stevens melanjutkan studinya di bidang Sastra Inggris di Emmanuel College, Cambridge. Selama di Cambridge, ia menjadi anggota Footlights bersama dengan Stefan Golaszewski, Tim Key, dan Mark Watson, dan juga aktif di Marlowe Society. Ia pertama kali ditemukan oleh sutradara Peter Hall saat tampil dalam produksi Marlowe Society berjudul Macbeth, di mana ia berperan sebagai tokoh utama bersama dengan putri Hall, Rebecca Hall.
Karir profesional Stevens dimulai pada tahun 2004 ketika ia dipilih oleh Peter Hall untuk memerankan Orlando dalam produksi As You Like It karya Shakespeare yang diadakan dalam tur. Tur tersebut membawanya tampil di Rose Theatre di Kingston upon Thames, Brooklyn Academy of Music di New York City, Curran Theatre di San Francisco, dan Ahmanson Theatre di Los Angeles. Penampilan debutnya mendapatkan pujian dari kritikus ternama di Inggris dan Amerika Serikat, serta penghargaan di Ian Charleson Awards 2004. Pada tahun 2006, Stevens membintangi adaptasi BBC dari novel pemenang Man Booker Prize karya Alan Hollinghurst, The Line of Beauty, sebagai Nick Guest. Pada tahun yang sama, ia juga bermain sebagai Simon Bliss dalam Hay Fever karya Noël Coward di Haymarket Theatre London, bersama dengan Peter Bowles dan Dame Judi Dench, dengan Peter Hall sebagai sutradaranya. Ia juga tampil sebagai Lord Holmwood dalam adaptasi Dracula untuk BBC, dan sebagai Basil Brookes dalam film Maxwell yang memenangkan Emmy Award versi BBC. Pada tahun yang sama, ia dinobatkan sebagai salah satu bintang masa depan versi Screen International. Pada tahun 2008, Stevens tampil dalam adaptasi BBC dari novel Jane Austen, Sense & Sensibility, sebagai Edward Ferrars, serta dalam pertunjukan ulang West End dari drama Noël Coward, The Vortex. Pada Januari 2009, ia tampil dalam Agatha Christie's Marple: Nemesis di ITV1 di Inggris. Ia juga tampil dalam adaptasi The Turn of the Screw bersama dengan Michelle Dockery, yang kemudian menjadi rekan mainnya di Downton Abbey. Pada Juni 2009, ia kembali ke West End dengan berperan sebagai Septimus Hodge dalam pertunjukan ulang yang mendapat pujian dari kritikus, Arcadia karya Tom Stoppard di Duke of York's Theatre. Pada tahun 2010, Stevens mendapatkan kesempatan besar ketika ia dipilih untuk memerankan Matthew Crawley dalam serial ITV, Downton Abbey, yang dibuat dan ditulis oleh penulis skenario pemenang Oscar, Julian Fellowes. Serial ini menjadi sensasi global dan telah dinominasikan untuk beberapa Emmy, BAFTA, Golden Globe, dan Screen Actors Guild Awards sejak pertama kali ditayangkan. Kisah cinta utama antara Matthew Crawley dan sepupunya yang jauh, Lady Mary Crawley yang diperankan oleh Michelle Dockery, sangat populer. Stevens memutuskan untuk meninggalkan serial ini setelah selesai, dengan tekad untuk melanjutkan karirnya.