Sebelum menikah dengan istri yang terpaut jarak 26 tahun, Ricky Subagja pernah menikah dengan Elsa Manora Nasution. Setelah pensiun dari dunia renang, Elsa yang merupakan mantan atlet nasional jarang muncul di televisi.