Sekolah Al Islah didirikan oleh para sesepuh (Tokoh agama masyarakat Gunung Anyar (Utara, Tengah dan Selatan dengan niat untuk mempersatukan kekompakan wagra masyarakat dan generasi penerusnya dalam memperjuangkan Kemajuan, Keyakinan Aqidah Islam Ahlusunnah wal Jama’ah dan pendidikan masyarakat untuk meningkatkan kualitas hidup baik di dunia maupun di akhirat. Tokoh sesepuh masyarakat Gunung Anyar yang aktif mewakili daerahnya, mengkoordinasikan kegiatannya dalam bentuk “kelompok” yang terbagi menjadi tiga, yakni kelompok Utara, Kelompok Tengah dan kelompok Selatan. Pembagian kelompok tersebut bertujuan untuk memudahkan mekanisme kerja sosial yang terprogramkan. Kelompok Utara terdiri dari Bpk. Moh. Ilyas, Imam Zarkasyi, H. Abdul Fatah, dan H. Badrun serta beberapa pihak terkait. Sedangkan kelompok Selatan terdiri dari Bpk. Nawawi, Bpk. Buchairi, dan Husnan serta beberapa pihak terkait. Serta kelompok tengah yang terdiri dari H. Moh. Hadi, Moh. Jufri, H. Moh. Ahyat, Moh. Alqih, Moh. Mujtahid, Moh. Tauhid, Moh. Irfan, Moh. Sahad, Moh. Ishak Maulana, dan H. Abdullah Ubaid serta beberapa pihak terkait. Perkembangan organisasi  dan tuntutan dunia pendidikan semakin meningkat, sehingga konsepsi visi dan misi para pendahulu menjadi motivasi generasi penerusnya untuk berjuang melanjutkan cita-cita yang diinginkan, yakni menciptakan masyarakat “Adil dalam Kemakmuran dan Makmur dalam Keadilan.”

Gedung Sekolah yang pertama didirikan adalah gedung barat, yang terletak di depan Mushallah Al Islah yang terdiri atas 3 gedung saja. Gedung ini sebagai tempat pembelajaran Sekolah Dasar Al Islah para pendiri berkeyakinan bahwa pendirian SD adalah untuk kepentingan luas dan umum serta berwawasan ke depan dengan pertimbanagan pengembangan Aqidah dan Moral Etika akan dikembangkan melalui Lembaga Pendidikan Ma’arif NU sebagai salah satu jalur formal sekolah Jamiyah Nahdlotul Ulama. Dengan demikian ada dua jalur pengembangan formal yaitu Lembaga Pendidikan Ma’arif NU dan Departemen Pendidikan Nasional (DIKNAS) sebagai arah pengembangan pendidikan Nasional.

Sekolah Al Islah ini terus berkembang selaras dengan tingkat kebutuhan masyarakat akan pentingnya makna pendidikan bagi kehidupan masa depan anak dan masyarakat Gunung Anyar khususnya dan masyarakat pada umumnya. Perhatian dan simpati masyarakat Gunung Anyar terus bertamterletakbah bila dilihat dari berbagai bentuk partisipasi mereka terhadap sekolah baik kepercayaan maupun pengorbanan material untuk Al Islah , sehingga Al Islah dapat terus meningkatkan jumlah ruang kelas atau gedung di sebelah timur jalur yang diperoleh dari partisipasi masyarakat (Waqaf tanah) untuk dan atas nama Madrasah / Sekolah Al Islah. Maka jadilah SD Al Islah yang terus berkembang seperti sampai saat ini dan Insyaalloh Ila Yaumil Qiyamat.

Perkembangan SD Al Islah merupakan cikal bakal (Embrio) berdirinya Taman Kanak-kanak (TK) dan Sekolah lanjutan Tingkat Pertama (SLTP) Al Islah yang selanjutnya sebagai wahana pendidikan yang berkelanjutan untuk pengembangan aqidah dan wawasan ke depan.

Al Islah saat ini memiliki 5 jenjang pendidikan yang sangat dibutuhkan oleh masyarakat :

1. Kelompok Belajar (KB)
2. Taman Kanak-kanak (TK)
3. Sekolah Dasar (SD)
4. Sekolah Menengah Pertama (SMP)
5. Sekolah Menengah Kejuruan (SMK)

Ketiga jenjang sekolah ini merupakan wadah pendidikan yang berkelanjutan dalam pengembagan aqidah dan pendidikan umumnya. Untuk semua perihal yang terkait mempunyai tugas dan kewajiban yang sama. Dalam merencanakan, mengoperasionalkan dan mengaktualisasikan tujuan serta evaluasi pencapaiannya (Prinsip Kebersamaan).

SMP Al Islah Surabaya berdiri pada tahun 1979 M di Gunung Anyar Surabaya, Yayasan ini didirikan untuk mempersatukan kekompakan warga masyarakat dan generasi penerusnya dalam memperjuangkan kemajuan, meyakinkan (Aqidah Islam Ahlusunnah wal-Jamaah) dan pendidikan masyarakat untuk meningkatkan kualitas hidup dan kehidupan dunia akhirat. Dengan tujuan tersebut maka yayasan didirikan dengan nama Al Islah yang berarti Damai, maksudnya dengan adanya sekolah ini diharapkan kehidupan masyarakat muslim di sekitar dapat bersatu dengan kehidupan tentram, damai dan rukun.

Di bawah pimpinan Drs. Abdul Mustain dan kerjasama baik guru, karyawan, seluruh civitas akademika Al Islah juga dukungan penuh dari pemerintah kota, hingga saat ini Al Islah berkembang baik. Dilihat dari pembangunan gedung semakin banyak, lulusan diterima di beberapa SMA favorit dan beberapa prestasi yang diraih. Sekolah ini memiliki komitmen “Pelayanan dan Fasilitas Terbaik untuk Menumbuhkan Generasi Unggul Ibadah , Unggul Akhlak, Unggul Integritas, dan Unggul Kepeduliannya.”

SMP AL ISLAH Surabaya berkomitmen untuk mewujudkan generasi berakhlakul karimah. Dalam mewujudkannya, salah satu program unggulan yang dilakukan sekolah adalah dengan mengadakan pengajaran kitab Ta’lim al-Muta’allim. Program ini dilaksanakan sebagai usaha untuk memberikan wawasan kepada siswa terkait akhlak dalam menuntut ilmu, sehingga diharapkan siswa dapat mengamalkan nilai-nilai yang diajarkan. Selain pembinaan akhlak, juga terdapat program pembinaan dalam bidang ibadah, antara lain Kesadaran Ibadah Wajib; Salat Berjamaah; Kesadaran Ibadah Sunnah amaliyah Aswaja (Salat Dhuha, Istighatsah, Selawat Diba’, Tahlil, dan TTQ (Tartil Tahfidz al-Qur’an); dan Budaya 5 S (Senyum, Salam, Sapa, Sopan dan Santun). Melalui beberapa program tersebut,  “Sekolah Sang Bintang”  menjadi ciri khas Sekolah ini, yakni Berakhlak Intelektual dan Cinta Lingkungan.