Jimmy mengawali karir bermusiknya sebagai pegawai studio musik di London pada pertengahan tahun 1960'an. Kemudian ia bergabung dengan band The Yearbirds pada tahun 1966. Pada tahun 1968 Jimmy membentuk Led Zeppelin.

Salah satu gitaris paling berpengaruh di seluruh dunia versi majalah Rolling Stone ini adalah putra dari James Patrick Page dan Patricia Elizabeth Page. Masa awal bermusik, Jimmy banyak dipengaruhi oleh Scotty Moore dan James Burton. Kedua gitaris tersebut adalah pengiring Elvis Presley.

Bersama Led Zeppelin, Jimmy telah menghasilkan banyak album. Penjualan album band rock ini juga menjadi salah satu yang terlaris sepanjang masa. Dengan penjualan sebanyak 300 juta keping di seluruh dunia, Led Zeppelin memantapkan namanya sebagai salah satu band terbesar sepanjang sejarah.

Led Zeppelin bubar pada tahun 1980 setelah drummer mereka, John Bonham meningggal dunia di rumah Jimmy.Setelah kematian John Bonham, Jimmy sempat menolak untuk bermain gitar, ia bahkan tidak mau menyentuhnya sama sekali.

Pada tahun 1981, Jimmy sudah mulai melepaskan masa berkabungnya. Ia kembali naik panggung pada pertunjukan Jeff Beck di Hammersmith Odeon. Pada tahun 1982 Jimmy berkolaborasi dengan Michael Winner untuk membuat soundtrack film DEATH WISH II.

Hingga kini, tak terhitung ada berapa banyak karya gitaris ini. Di usia senjanya, ia masih aktif bermusik. Pada tahun 2010, namanya masuk dalam daftar 50 gitaris sepanjang masa versi produsen gitar Gibson.