Pada tahun 1965 awal berdirinya Sekolah Agama yang diberi nama Madrasah Ibtidaiyah Islamiyah (MII) Penggage (masih swasta) berdasarkan hasil rapat oleh masyarakat Desa Penggage pada Tanggal 25 Desember 1964. Pembangunan gedung MII Penggage dilakukan secara goyong royong oleh masyarakat Desa Penggage yang berlokasi di Kampung Desa Penggage Kecamatan Sanga Desa Kabupaten Musi Banyuasin.
Pada tahun 1981 atas saran dari Dinas Insfeksi Pendidikan Agama Kabupaten Musi Banyuasin, MII Penggage melaksanakan Kurikulum Madrasah Negeri sehingga terbitlah SK Kepala Kantor Wilayah Departemen Agama Provinsi Sumatera Selatan No. KPT/W.f/3/21/1981 pada Tanggal 4 Mei 1981 tentang status MII Penggage resmi menjadi MIN Lumpatan Filial di Desa Penggage.
Seiring berjalannya waktu, terbitlah SK Menteri Agama Nomor 244 Tahun 1993 Pada Tanggal 25 Oktober 1993 yang secara resmi dijadikan Negeri Penuh dengan nama MIN Penggage. Pada tahun 1997 berdirilah Kelas Jauh MIN Penggage yang berlokasi di Desa Ngulak 2 Kecamatan Sanga Desa Kabupaten Musi Banyuasin dengan memanfaatkan gedung milik Yayasan Al-Marhamah Ngulak 2.
Hingga pada tahun 2016 terbitlah kembali SK Menteri Agama No 676 Tahun 2016 tentang pengganti Nama MIN Penggage menjadi MIN 2 Musi Banyuasin. Dengan berganti nama secara perlahan setahap demi setahap Alhamdulillah minat Orang Tua Siswa untuk menyekolahkan anaknya di MIN 2 Musi Banyuasin ini semakin meningkat.