Sebelum berdirinya Sekolah Tinggi Agama Islam Ali bin Abi Thalib Surabaya, berdiri sebuah lembaga pengajaran bahasa Arab dan ilmu-ilmu Islam yang dikenal dengan
nama Ma’had Ali Al-Irsyad Surabaya. Lembaga yang didirikan pada bulan Oktober 1996 ini mengadopsi kurikulum dari Universitas Islam Imam Muhammad bin Saud Arab Saudi yaitu kitab Silsilah Ta’lim al-Lughah al- ‘Arabiyyah.

Ma’had Ali Al-Irsyad Surabaya dirintis oleh tiga orang ustadz yang merupakan dewan pengajar pertama di lembaga ini, mereka adalah Ustadz Abdurrahman AtTamimi, BA., lulusan Universitas Kairo Mesir; Ustadz Mubarak Bamualim, Lc., lulusan Universitas Islam Madinah Arab Saudi; dan Ustadz Salim Ali Ganim, Lc., lulusan Universitas Islam Madinah Arab Saudi.

Adapun tujuan didirikannya Ma’had Ali Al-Irsyad Surabaya adalah untuk membentuk pribadi muslim yang beriman dan bertaqwa kepada Allah serta menyiapkan para pendidik dan dai Islam yang bermanhaj salaf.

Seiring berjalannya waktu, Ma’had Ali Al-Irsyad telah mencetak banyak lulusan-lulusan yang mempunyai
kemampuan bahasa Arab dan ilmu-ilmu keislaman. Sebagian besar lulusan melanjutkan pendidikannya ke jenjang yang lebih tinggi, baik di luar negeri seperti di Universitas Islam Madinah, maupun di dalam negeri seperti di LIPIA (Lembaga Ilmu Pengetahuan Islam dan Arab) Jakarta, serta di beberapa universitas Islam lainnya di Indonesia.

Melihat tingginya kebutuhan terhadap sarjana-sarjana Islam, juga sebagai bentuk kepedulian pengelolaan pendidikan Islam, serta komitmen untuk meningkatkan kemampuan para mahasiswa terhadap ilmu agama dan bahasa Arab, sekaligus untuk menjawab kebutuhan masyarakat yang relevan dengan dinamika zaman, maka Ma’had Ali Al-Irsyad berusaha meningkatkan status menjadi jenjang Strata Satu (S1).

Pada tahun 2006 Ma’had Ali Al-Irsyad mengawali rencana peningkatan status menjadi program sarjana
dengan mengurus izin ke Kopertais IV Surabaya. Kemudian Ma’had Ali Al-Irsyad Surabaya secara resmi berubah menjadi STAI Ali bin Abi Thalib Surabaya dengan SK Direktur Jenderal Pendidikan Islam Departemen Agama Republik Indonesia Nomor: Dj.I/495/2007, tertanggal 17 Desember 2007. Dengan terbitnya surat tersebut maka secara operasional STAI Ali bin Abi Thalib Surabaya telah sah berjalan dan membuka Program Studi Pendidikan Bahasa Arab berjenjang Strata Satu (S1).