Pondok pesantren Al Akhyar menurut manuskrip catatan yang ditulis oleh KH. Muhammad Sholeh (1250-1337H / 1834-1919M), yang dikenal sebagai Kiai Pacitan, didirikan oleh Nyai Ummu ‘Ali Pulosari Bangkalan, putri dari Syaikh ‘Abdul Adhim Shuhaib bin Syaikh Aji Salasi dan Nyai Tepi binti Nyai Kumala binti Syaikh Zainal Abidin (Sunan Cendana, ±1750M/1163H). Bersama suaminya Kiai Zahid, kepengasuhan diteruskan oleh putra mereka, Kiai Ali Pulosari.

Selanjutnya, estafet kepengasuhan berpindah ke Ny. Qosan dan suaminya, lalu ke Ny. Maryam dan suaminya. Dari Ny. Maryam lahirlah Kiai Daningsih dan Ny. Ghoyyar (istri dari Kiai Khoyyar). Putra mereka, KH. Muhammad Sholeh (Kiai Pacitan), kemudian mendapat amanah kepengasuhan berdasarkan pesan dari para pendahulu. Beliau mengasuh pondok yang saat itu dikenal sebagai Pondok Beagung hingga wafat di usia 87 tahun pada 1337H/1919M.

Kiai Pacitan memiliki tiga putra: KH. Ismail, KH. Dimyathi (pendiri Ponpes Nurul Iman), dan KH. Dahlan (pendiri Ponpes Sanggre Agung). KH. Ismail melanjutkan kepemimpinan hingga wafatnya pada 1387H/1967M. Ia memiliki dua putri, salah satunya menikah dengan KH. Mahfudz Basuni.

Berdirinya Madrasah Al Akhyar - 1384H / 1964M

Dua tahun sebelum wafatnya KH. Ismail, KH. Umar Abd. Hamid (suami Ny. Maryam binti Mahfudz) mendirikan Madrasah Islamiyah Al Akhyar untuk santri putra. Nama ini diambil dari Kiai Khoyyar, kakek dari KH. Ismail. Setelah KH. Ismail wafat, KH. Mahfudz Basuni menggantikannya dan memimpin selama 22 tahun.

Anak-anak beliau di antaranya: KH. Kholil Mahfudz (Ponpes KH. Abdul Hamid), KH. Khozen Mahfudz (Tragah), Ny. ‘Aidah Mahfudz (istri KH. Toha Yasin), dan Ny. Sa’diyah Mahfudz (istri KH. Sholeh Zaini).

Berdirinya Madrasah Shufiyatul Akhyar - 1403H / 1982M

Pada 1403H/1982M, KH. Musleh Mahfudz mendirikan Madrasah Al Akhyar Putri yang kemudian berganti nama menjadi Madrasah Shufiyatul Akhyar (2005). Pada 1408H/1997M, dibuka jenjang Tsanawiyah.

Di masa KH. Hasan Mahfudz, pondok berkembang dengan pembagian komplek: Pondok Timur (Darul Fiqhiyah), Barat (Darut Tauhid), dan Utara (Darus Shufiyah). Tahun 2005, pondok menambah jenjang formal: MTS, SMP, dan SMK. Setelah wafatnya KH. Fathurrahman (1998H), kepengasuhan berganti ke KH. Musleh Mahfudz (2008), lalu KH. Hasan Mahfudz (2009M), dan kini diteruskan oleh KH. Firdaus Hasan bersama pamannya KH. Dzofir Sifan (wafat 2016).