Sebelum terjun ke politik, Karimun sudah meniti karier profesionalnya sejak 1965.
Saat itu dia menjadi Kepala Seksi Jalan dan Jembatan di Pabrik Guia Cot Girek.
Lalu, Karimun berkarier di Ditjen Air Departemen Pekerjaan Umum dari 1969 hingga 1999.
Karena dedikasinya, dia diberi sejumlah penghargaan atas pengabdiannya sebagai Pegawai Negeri Sipil Departemen PU.
Di samping itu, Karimun pernah menjadi anggota DPR RI Fraksi PDI Perjuangan periode 1999-2004. Dia sebelumnya menjadi Ketua PDIP Aceh selama dua periode. ***