Namun, popularitas Jimmy Lin meredup pada tahun 1994 ketika dia harus menjalani wajib militer. Meskipun dia tahu itu akan sangat mempengaruhi karirnya, Jimmy Lin tidak mencari perlakuan khusus dari pemerintah. Pada bulan Oktober tahun itu, dia masuk militer seperti pria biasa seusianya. Meskipun terkenal, Jimmy Lin tidak memiliki kehidupan yang mudah di militer. Dalam sebuah acara talk show pada tahun 2005, dia mengungkapkan bahwa selain pelatihan yang berat, dia juga sering diperlakukan kasar oleh senior dan diharapkan tampil lebih baik dari prajurit lainnya. Meskipun tidak mengharapkan perlakuan istimewa, Jimmy Lin terkejut karena diperlakukan buruk karena menjadi selebriti. Meskipun begitu, Jimmy Lin tampil baik sebagai seorang prajurit dan menerima penghargaan atas penampilan yang sangat baik. Dia bertugas terutama di bagian hiburan militer. Setelah 2 tahun di militer, Jimmy Lin kembali berakting dan bernyanyi pada tahun 1996.
Karir Jimmy Lin sebagai aktor dan penyanyi sempat tertunda karena wajib militernya dan setelah kembali, dia terlupakan oleh banyak pendatang baru. Meskipun menghadapi kesulitan untuk kembali ke dunia hiburan, Jimmy Lin bekerja keras dan bahkan mendirikan perusahaannya sendiri, Jimmy Creative, yang memproduksi 5 album terbarunya di bawah label musik "Forward". Salah satu album yang paling mencolok adalah "Scarecrow" (稻草人) (1999), yang berisi lagu dengan judul yang sama.
Pada tahun 1997, Jimmy Lin memutuskan untuk mewujudkan mimpinya sebagai pembalap mobil balap. Dalam salah satu balapan pada tahun itu, dia mengalami kecelakaan yang hampir merenggut nyawanya. Beberapa detik setelah keluar dari mobil yang hancur, mobil tersebut meledak. Satu-satunya tanda kecelakaan itu sekarang adalah beberapa pelat logam di kaki yang hancur. Meskipun mengalami kecelakaan, Jimmy Lin tidak menyerah dalam balapan dan terus berusaha untuk menjadi lebih baik. Dia sering mengatakan, "Saat saya balapan, saya tidak melawan orang lain, tapi melawan diri sendiri." Saat ini, Jimmy Lin adalah salah satu dari 10 pembalap reli terbaik di Tiongkok Daratan. Pada tahun 2005, dia menandatangani kontrak dengan tim terbaik di Tiongkok, Hong He, sebagai pembalap. Dia berlatih di bawah bimbingan pelatih balap terbaik, Ma Jun Kun. Jimmy Lin berharap suatu hari nanti bisa menjadi pembalap Formula 3 dan menjadi pembalap profesional penuh waktu. Pada tahun 2005, dia bersama dua temannya mendirikan Perusahaan Konsultan Balap Ping Tzuo di Sirkuit Internasional ZhuHai. Pada 23 Oktober 2005, Jimmy Lin menjadi tuan rumah acara balap pertama yang diberi nama "Jimmy Cup", di mana terutama selebriti pria berlomba. Tujuan acara ini adalah untuk meningkatkan kesadaran tentang keselamatan lalu lintas kepada masyarakat dan mempromosikan cinta terhadap balap mobil. Pada tahun 2006, dia membentuk Tim Reli Jimmy Lin untuk bersaing dalam Kejuaraan Reli Tiongkok. Timnya meraih posisi ketiga secara keseluruhan dalam Kejuaraan Reli Tiongkok 2006. Pada tanggal 26 Oktober 2008, dia di-