Kiai Ali lahir pada 15 Maret 1915 di Lasem, Rembang, Jawa Tengah. Ia putra Kiai Ma`shum, pemimpin Pesantren Al-Hidayah, Soditan, Lasem Rembang, Jawa Tengah.
Ketika usianya menginjak 12 tahun, Ali dikirim ke Pesantren Termas, Pacitan, Jawa Timur, pesantren terbesar dan termasyhur kala itu selain Tebuireng, Jombang, dan Lasem sendiri. Di Termas ia berguru kepada Syaikh Dimyathi At-Tarmasi, adik Syaikh Mahfudz At-Tarmasi, ulama besar Nusantara yang mengajar di Masjidil Haram.
Sebagai putra kiai kondang, sejak kecil Ali telah digembleng dengan dasar-dasar ilmu agama. Sehingga, ketika delapan tahun belajar di Termas, ia sama sekali tak menemukan kesulitan. Ia mendapat perhatian istimewa dari Syaikh Dimyathi. Sejak awal mondok, Ali diizinkan gurunya mengikuti pengajian bandongan, yang biasanya hanya diikuti santri-santri senior. Bahkan ia dibiarkan membaca kitab-kitab karya ulama pembaharu, yang tidak lazim dipelajari di pesantren salaf. Syaikh Dimyathi menilai, Ali Ma’shum sudah memiliki dasar keilmuan yang cukup kuat, sehingga bacaan-bacaan itu tidak akan mempengaruhinya, bahkan justru akan memperluas pandangannya.
Segala kelebihan Ali Ma’shum itu tidak terlepas dari kepandaiannya dalam ilmu bahasa Arab, yang di atas rata-rata.
Sekembali dari Termas, Ali membantu ayahnya mengasuh pesantren mereka di Lasem. Tak lama kemudian ia dinikahkan dengan Hasyimah binti Munawir, putri pemimpin Pesantren Krapyak, Yogyakarta. Sebulan setelah pernikahan, ia pergi haji.
Selain berhaji, selama dua tahun bermukim di Makkah, Ali juga belajar kepada ulama besar Tanah Suci, Sayyid Alwi Al-Maliky dan Syaikh Umar Hamdan.
Ketika Kiai Ali kembali dari Makkah, tahun 1941, kondisi tanah air kacau balau. Penjajah Jepang baru saja masuk. Seperti pesantren-pesantren lain, Pesantren Lasem pun sepi, ditinggal para santrinya.
Dengan usaha Kiai Ali yang gigih, perlahan pesantren yang didirikan ayahandanya itu kembali menggeliat bangkit.
Namun baru dua tahun ia memimpin Pesantren Lasem, ibu mertuanya datang dan minta dirinya pindah ke Krapyak, Yogyakarta, untuk memimpin pesantren yang baru saja ditinggal wafat Kiai Munawir.
Sentuhan tangan dinginnya berhasil menghidupkan kembali Pesantren Krapyak. Bersama ipar-iparnya, ia meneruskan kepemimpinan Kiai Munawir hingga Pesantren Krapyak kembali berkembang pesat dan dikenal luas.
Arus perubahan melanda NU menjelang dan di awal tahun 1980-an. Yakni, adanya keinginan untuk kembali ke khiththah 1926, bahwa NU tidak berpolitik. Setelah wafatnya Rais Am K.H. M. Bisri Syansuri pada 25 April 1981, untuk menduduki posisi puncak dalam kepemimpinan NU, salah seorang yang dianggap paling pas adalah Kiai Ali Ma’shum.
Benar saja, September 1981, Kiai Ali Ma’shum terpilih menjadi rais am PBNU. Ia dipilih dalam Muktamar NU di Kaliurang, Yogyakarta.
Masa 1981 sampai 1984 itu ternyata merupakan babak yang sangat menarik bagi NU. Tahun 1982 berlangsung pemilihan umum. Menjelang pemilu, beberapa tokoh NU disingkirkan dari PPP, sehingga di kalangan NU timbul keinginan untuk meninggalkan partai berlambang Ka’bah itu.
Kiai Ali termasuk orang yang tidak setuju dengan langkah tersebut. Bersama dengan Kiai As`ad Syamsul Arifin, Kiai Mahrus Ali, dan Kiai Masykur, ia minta agar Ketua PBNU K.H. Idham Chalid mundur dari jabatan, karena dianggap gagal memimpin.
Pada awalnya Idham Chalid setuju mundur. Tapi beberapa hari kemudian, karena ada pengkhianatan, ia mencabut pernyataan pengunduran dirinya itu.
Nahdlatul Ulama pecah menjadi dua kelompok: kelompok Idham Chalid, atau sayap politik, yang berbasis di Cipete, Jakarta Selatan, dan kelompok Kiai As’ad, atau sayap khiththah, yang disebut kelompok Situbondo. Walaupun demikian, selalu diupayakan agar terjadi ishlah. Namun usaha itu gagal.
Setelah upaya ishlah mentok, Kiai Ali menganggap kelompok Cipete tidak ada, hingga jabatan ketua umum atau ketua tanfidziyah dirangkap oleh rais am.
Pada 1983, sayap khiththah mengadakan Musyawarah Nasional Alim Ulama di Situbondo dan menghasilkan konsep kembali ke khiththah 1926. Tahun berikutnya, pada Muktamar ke-27, ditetapkanlah konsepsi tersebut serta penerimaan asas tunggal Pancasila. Dengan keputusan itu, NU menyatakan independen, tidak ada hubungan dengan partai politik tertentu. Jabatan ketua tanfidziyyah diserahkan kepada K.H. Abdurrahman Wahid dan jabatan rais am diserahkan kepada K.H. Achmad Siddiq. Kiai Ali sendiri duduk dalam Dewan Penasihat atau Mustasyar.
Kamis 7 Desember 1989, tepat usai adzan maghrib, Kiai Ali Ma’shum berpulang ke rahmatullah dalam usia 74 tahun. Keesokan harinya, ribuan umat Islam mengantarkan kepergiannya ke peristirahatan terakhir di Pekuburan Dongkelan, Bantul, Yogyakarta.