Berdirinya Departemen Agama (sekarang : Kementerian Agama) merupakan hasil perjuangan Para pemimpin Islam dan tokoh-tokoh nasional yang aktif dalam berbagai organisasi-organisasi seperti Majelis Islam A'la Indonesia (MIAI ) maupun Badan Penyidik Usaha-usaha persiapan Kemerdekaan Indonesia (BPUPKI ) Para pendiri tersebut antara lain KH. A. Wahid Hasyim, KH. Mansyur, KH. Abdul Kahar Muzakir. H. Agus Salim, Ki Bagus Hadikusumo, Abikusno Cokro Suyono.
Usaha pendirian Departemen Agama diperkuat oleh delegasi dan Komite Nasional Indonesia (KNI) Bamanyumas yang dipimpin oleh KH. Abu Dardiri dengan juru bicara M. Saleh Suaidi. Usulan tersebut disampaikan dalam sidang pleno Komite Nasional Indonesia Pusat ( KNII ) pada tanggal 26 Nopember 1945 di Jakarta Gagasan tersebut akhirnya diterima secara aklamasi dan mendapat dukungan dan semua anggota yang hadir.
Dengan usaha yang gigih inilah akhirnya keluarlah penetapan Pemerintah Nomor I/ SD Tahun 1946, yang dikeluarkan pada tanggal 3 Januari 1946 yang merupakan dasar hukum berdirinya Departemen Agama. Kemudian diperkuat dengan penetapan Menteri Agama RI, KH.Mohammad Ilyas.
Sebelum Departemen Agama terbentuk. pada Kabinet I Presidentil (02 September 1945 s/d 14 Nopember 1945) dan Kabinet Syahrir1 (14 Nopember 1945 s/d 12 Maret 1946) telah diangkat Menteri Negara yang bertugas menangani permasalahan umat islam yakni KH. A. Wahid Hasyim dan H.M. Rasjidi. Selanjutnya dalam perjalanan Pemerintah Republik Indonesia, Departemen/Kementerian Agama telah dijabat oleh beberapa Menteri Agama yaitu:
- H. Rasjidi. BA (3 Januari 1946 s/d 2 Oktober 1946)
- KH. Fatchurrahman (2 Oktober 1946 s/d 3 juli 1947)
- H. Anwaruddin A.I (3 juli 1947 s/d 11 Nopember 1947)
- KH. Masykur (11 Nopember 1947 s/d 21 Januari 1950), bersamaan dengan itu di Sumatera sebagai Pemerintah Darurat RI Menteri Agama dirangkap oleh H. T.M. Hasan dan KH. Masykur kembali menjabat (1 Agustus 1953 s/d 12Agustus, 1955)
- KH Wahid Hasyim (20 Desember 1949 s/d 6 September 1950) dan menjabat lagi (6 September 1950 s/d 3 April 1952)
- KH. Faqih Usman (21 Januari 1950 s/d 6 September 1950) dan menjabat lagi (3 April 1952 s/d 1 Agustus 1953)
- KH. Muh. Ilyas (12 Agustus 1955 s/d 10 Juli 1959)
- KH. Muh. Wahid Hahab (10 juli 1956 s/d 6 Maret 1962)
- KH. Syaefudin Zuhri (16 Maret 1962-13 Nop 1963 dan 13 Nop 1963-27 Agustus 1967)
- KH. Moh. Dahlan (I I Oktober 1967 s/d 6 September 1971)
- Prof Dr, H. A Mukti Ali (6 September 1971 s/d 29 Maret 1978)
- H. Alamsyah Ratu Perwira Negara (28 Maret 1978 s/d 19 Maret)
- H. Munawir Sadzali, MA (19 Maret 1983 s/d 20 Maret 1993)
- Dr. H. Tarmidzi Taher (20 Maret 1993 s/d 1997)
- Prof Dr. Quraish Syihab (Maret 1998 s/d 21 Mei 1998)
- Prof, Drs. Malik Fadjar, M.Sc. (22 Mei 1998 s/d 2000)
- KH. Drs. Tolkhah Hasan (Tahun 2000 s/d 2002)
- Prof. Dr. H. Said Agil Husein Al Munawar, MA (Tahun 2002 s/d 2004)
- Dr. H. Maftuh M Basuni (Tabun 2004-2009)
- Drs. H. Suryadharma Ali, MSi (2009-2014)
- Drs. H. Lukman Hakim Saifudin (2014-Sekarang)
Sedangkan Kepala Kantor Departemen Agama dan Kepala Kantor Kementerian Agama Kabupaten Karanganyar ( Tahun 1952 – Sekarang), yaitu:
- Chumaidi Thohar (1952-1954)
- R. Salimunhadi (1954-1969)
- Hadi Ma’ali (1969-1972)
- R.H. Djamhari Ichsan (1972-1974)
- H.S. Djalal Soejoeti (1974-1980)
- Marjuni S.D.P (1980-1988)
- Drs. H. Musliman (1988-1996)
- Drs. H. Basyir (1996-1998)
- Drs. H. Hadifaiz Hasbullah (1998-2003)
- Drs. H.Mustaqim Asnawi (PLT)( 2003-2004)
- Drs. H. Abdul Mu’id, MM. ( 2004-2006)
- Drs. H. Soeparyo, MM. (PLT) (2006-2006)
- Drs. H. Juhdi Amin, M.Ag (2006- 2011)
- Drs H. Muh. Saidun, M.Ag (PLT)(2012- 2013)
- H.Musta’in Ahmad, SH., MH. (2013 – Sekarang)