Batum'un Ahıska beldesinde 1870 senesinde dünyaya geldi. Babası Şerif Efendi'dir. İki yaşında annesini, dört yaşında da babasını kaybeden Ali Haydar Efendi ilk ilim tahsilini memleketinde yapmıştır. Daha sonra Erzurum'da medrese tahsiline devam etmiştir. Erzurum'dan sonra İstanbul'a gelen Ali Haydar Efendi , Fatih Camii Şerifi'nde derslere devam ederek, Beyazıd dersiâmlarından Çarşambalı Hoca Ahmed Hamdi Efendi'den 1901 yılında icazet almıştır.

Ali Haydar Efendi (K.S.), Ahmed Hamdi Hoca'nın derslerine devam ederken, o devirde kadı yetiştiren Medresetü'l-Kuzat'a ( o zamanın Hukuk Fakültesi ) giderek, oradan da diploma almıştır. (1906) İlk adli vazifesi Burdur kadılığıdır. Sonra Uşak kadılığı ve sonra Denizli kadılığı olmuştur. Daha sonra İstanbul İstinaf Mahkemesi ( dava mahkemeleri ile temyiz mahkemeleri arasında bir derece yüksek mahkeme) üyeliğine getirildi.. Bu vazifede iken hukuk mektebinde Mecelle ve Usul-i Muhakematı Hukukiye derslerini okutmaya başladı. Ardından sırasıyla İstanbul Bidayet Mahkemesi, İkinci Hukuk Dairesi Başkanlığı, Bidayet Mahkemesi Başkanlığı, İstinaf Mahkemesi İkinci Hukuk Dairesi Başkanlığı, Temyiz Mahkemesi üyeliği, aynı mahkemenin hukuk dairesi üyeliği, sonra başkanlığı ve temyiz mahkemesi başkanlığı görevlerinde bulundu.

Ömer Nasuhi Bilmen Hoca, Hukuk-u İslâmiye ve Islahatı Fıkhiye Kamusu eserinde Ali Haydar efendiden bahsederken, "Yüksek çalışkan fukahamızdan sayılır" der ve devamla, "Mahkeme-i Temyiz riyasetinde, mülga fetvahane-i ali emanetinde ve adliye nezaretinde bulunmuştur. Mecelle-i ahkamı Adliye'ye yazmış olduğu 4 ciltlik mufassal şerhi, kıymetli bir eserdir. Birçok çalışmanın faideli bir semeresidir. Arazi, evkaf, mefkud, ahkâmına dair eserleri, intikal kanununa şerhi de vardır. Medresetül Kuzat'ta ve Darül Fünun'da mecelle vesaire müderrisliğinde bulunmuştu" diye övmüştür.

Sene 1914 Fatih Camii'nde talebe okutmaya başlamıştır. Fetvahanede fetva vermiş, gösterdiği büyük iktidarla, 1914 yılında Sahn Medresesi Fıkıh Müderrisliği'ne tayin edilmiştir.

Birinci Dünya Savaşı ardından, 14 Kasım 1914'te ilan edilen Cihad-ı Ekber fetvasını, Fetva Emini sıfatıyla Fatih Camii'nde okudu. Aynı zamanda 23 Kasım 1914'te Cihad Beyannamesinde bulunan 29 imzadan birisi de Ali Haydar Efendi'dir. 1915 yılında Şeyhü'l-İslamlık'ta yeni kurulan "Telif i Mesail Heyeti Reisliği"ne tayin edilmiştir. 1916 yılında Huzur Dersleri baş muhatablığına tayin edilmiştir. Rumeli Kazasker payeliğini elde etti. Aynı yıl emekliye ayrıldı. Tevfik Paşa'nın ikinci sadaretinde (Baş vezirlik) kısa bir süre Adliye Nazırlığı (Adalet Bakanlığı) yaptı. Bu görevde iken Medine'yi teslim etmeye yanaşmayan Fahrettin Paşa'ya Padişah'ın teslim konusundaki iradesini götürdü.

Ahıskalı Ali Haydar Efendi (KS), zahiri ilimlerin hepsini ikmal etti. Varılacak noktanın en üst kademesine ulaştı. Üstelik kendisi de, şanlı şöhretli, celadetli idi. Efendi , sert mizaçlı biri idi. Taviz vermeksizin şeriatın hükümlerinin yerine getirilmesini isterdi. Hatta Maide suresindeki şu ayeti kerime sanki düsturu olmuştu. "Allah'ın indirdiği ile hükmetmeyenler zalimlerin, fasıkların, kafirlerin ta kendileridir." (Maide Suresi ayet 44-45) Hitabeti çok kuvvetli, fakihliği 4 mezhebe fetva verecek kadar kuvvetli idi. Tesir ve ikna gücü de yerinde idi.

Ahıskalı Ali Haydar Efendi , kaynaklar, tarih olarak kesin belirtmemekle beraber, 1913 ve 14 yılları, Bandırma'ya gider. Bir Ramazan günü talebelere yardım maksadı vardır. Tabii ki vaaz edecektir. İstanbul ulemasından olduğu için her yerde rağbet çok olur. Vaazları genelde tasavvuf ve tarikatlar aleyhinde olur. Hatta bir gün sabah namazında kişiyi isimlendirerek, "Burada Bezzaz Ali Rıza Efendi var, esnaftır, tarik ehlidir, şöyle yapar, böyle yapar" diye aleyhinde konuşur. Cemaatin içinde Ali Rıza Bezzaz Hazretlerinin talebelerinden Börekçi Hasan Efendi de vardır. Vaazı dinler ve namazdan sonra olup biteni Rıza Ali Bezzazi Efendiye anlatır. Meşayih sevinir. Efendi de "Hiç merak etme, çok yakında bizim yanımıza gelecektir" der. Gönülden gönüle yol var ya. Onların sözleri ok gibidir, gider hedefini vurur. Ali Haydâr Efendi'nin gönlüne bir ateş düşer. Tasavvuf ve tarikat ehline karşı bir sevgi ve alaka başlar. Kalbi vecd, istiğrak ve cezbe ile dolar. Dev cüsse, cübbeyi ve sarığı atarak camiden çıkar. Pazar yerinde bez atan Ali Rıza Bezzaz Efendi'nin yanına varır. Söylediklerinden pişmanlık duyduklarını ve affetmesini ve evlatlığa kabul etmesini söyler.

Bezzaz Ali Rıza Efendi (K.S.), Ali Haydar Efendi'nin kolundan tutar, sırtını okşar ve "İstanbul'da Hacı Ahmet Efendi var ona git" der. Bandırma'dan İstanbul'a dönüş Ahıskalı Ali Haydar Efendi, İstanbul'a gelip Hacı Ahmet Efendi'yi bulur. O da "Topkapı'da Ali Efendi var ona git" dedi. İmtihanlar, sabır, teslimiyet. O ona, o da ona gönderiyor? Topkapı'ya giden Ali Haydar Efendi (KS), kendisine bildirilen köhne, dökük bir evin kapısını çaldı. Yarım saat kadar kapıda bekledi. O an nefsi ile başbaşa kaldı ve nefsi içerden konuştu: "Ey Ali Haydar, sen ki padişahın huzur dersleri baş muharrir ve baş muhatabısın, böyle bir adamın böyle köhne evin ününde kapısını bekliyorsun, bu sana yakışır mı?" diye iç geçirdi. Daha sonra kapı açılıp bir kız çocuğu çıktı. "Buyurun içeri" dedi. İçeri giren Ali Haydar Efendi, bir saat daha bekledi. Bu sırada saçı-başı birbirine karışmış, kambur bir adam içeri girdi. Bu kimsenin Ali Efendi olduğunu anlayan, Ahıskalı Ali Haydar Efendi, hemen elini öpmek istedi. Fakat o kimse, "Çek, çek elini, ben samimiyetsizliklere el veremem" dedi. Ahıskalı Ali Haydar Efendi, kendi sıfatlarını ve makamlarını saymaya başlayınca, o zat "Sus, sus" diye azarladı. Ahıskalı Ali Haydar ağlamaya başlayınca da, "Ya! Amma da cümbüş hocacıymışsın, şaka yaptım" dedi. O anda bazı değişiklikler hisseden Ahıskalı Ali Haydar Efendi, karşısındaki Ali Efendi'ye talebe olup sohbet ve derslerine devam etti. Tasavvuf yolunda ilerledi.

Bandırma'daki Nakşi Şeyhi Ali Rıza Bezzazi'nin vefatı üzerine postnişinliğe getirildi. Dergâhta vakıf şartı gereğince Ali Rıza Bezzazi'nin talebeleri arasından seçildi ( 1914). Bu dergâh, Fatih ilçesi Çarşamba mevkii, Cebecibaşı mahallesinde İsmail Ağa Camiinden Fener Kilisesi'ne doğru giden sokağın sonundadır. Burası, Şeyh Mustafa İsmet Garibullah Hazretleri'nin dergâhıdır. Nakşi silsilesinden 32.'dir. Yanında 33. Şeyh Halil Nurullah Zağravi Hazretleri vardır. Yan yana kabri şerifleri oradadır. 34. silsile zinciri az önce bahsettiğiıniz Ali Rıza Bezzazi'dir ve Bandırma'da medfundur. 35. Ali Haydar Ahıskavi olmuştur. Allah onlardan razı olsun. İttihat ve Terakki hükümeti, Ahıskalı Ali Haydar Efendi'nin bu seçimini reddetti. Postnişinliğine el koydu. Fakat Efendi Hazretleri bu işi yine devam ettirdi. Birinci Dünya Savaşı boyunca aynı zamanda da padişahın huzur dersleri başmuhatablığını da yürüttü. Beş yıl sonra müridlerden Hafız Halil Sami Efendi tarafından yazılan istida (dilekçe) ile postnişinliğin gasp işi saraya intikal ettirildi. Nihayet hicri 1338, miladi 1919'da Ali Haydar Efendinin postnişinliği bizzat padişah tarafından tasdik edilmiş oldu. Huzur dersleri de 1923'e, padişahlığın kaldırılmasına kadar devam etti. .

Cumhuriyet sonrası alimlerin çile devri başladı. Sorgular, mahkemeler, hapisler, beraatler birbirini izledi.
Tahirül Mevlevi, basın aleminde "Hayatım ve istiklal mahkemeleri" adlı hatıraların, polis nezaretine gittiklerini uzun uzadıya anlattıktan sonra, koğuşta kimlerle kaldıklarını tarif ederek yazıyor: "Kapıdan girince sağdan birinci karyolada Dağıstanlı Seyyid Tahir Efendi, ikinci karyolada Kâtip Aziz Mehmet Efendi, üçüncü karyolada kitapçı Aziz Efendi, dördüncü karyolada Ömer Rıza Bey, beşinci karyolada Abdi
Acz (kendi), altıncı karyolada Suud Bey, yedinci karyolada her akşam orada yatan bir memur. Soldan birinci ve ikinci minderde Yağlıkçı Hasan ve Mustafa efendiler, soldan birinci karyolada Dersiam ve Çarşamba'daki İsmet Efendi Tekkesi şeyhi Ahıskalı Ali Haydar Efendi, bir de onlara mücavir ( komşu) Seydişehirli Hasan Efendi, ikinci karyolada vaiz Sofi Süleyman Efendi, Kitapçı Mihran Efendi de tam orta yerdeki karyolayı seçmişti. Ali Haydar Efendi ve Süleyman Efendi'nin birer zembili ve bir de pöstekisi vardı. Tahirül Mevlevi koğuştakilerin hususi hallerini bir bir süzdükten sonra Ali Haydar Efendi için şunları da ekleyivermiş: "Şeyh Ali Haydar Efendi, kulakları az işittiği için mütalaayı ve tilaveti muhasebeye (sohbete) tercih ediyor, kendisine tane tane ve yavaş söylenilmek şartıyla bir şey sorulacak olursa müfid ve mukni (faydalı ve ikna edici) cevaplar veriyor, mangalda kendi eliyle kaynattığı çayı sessizce içip hususi aleminde bulunuyordu."

Tahirül Mevlevi bir gece rüya görür, namazdan sonra Ali Haydar Efendi'ye gelir anlatır. "Şeyh Ali Haydar Efendi ile ikimizin müşterek bir maaş cüzdanı varmış. Bu cüzdanla vezneye müracaat etmiştim. Maaş alacakmışım. Veznedar, bir iki kâğıt para verdikten sonra; -İstersen bir de altın vereyim teklifinde bulundu. -Aman lutuf etmiş olursunuz, çoktandır ruyetinden mahrumum. Gurbette hemşehri görmüş gibi olurum, dedim. Vezneci kenarı kırık bir altın verdi. Bunu görünce; -Aman bir lütuftur ettiniz, bari tamam olsun, şunu değiştiriverin ricasında bulundum. Onu aldı. Mevlevi külahı şeklinde altından mamul tam bir sikke verdi. Aldım ve uyandım." O mübarek de iyiye yorar: -Altının değişmesi hakkında hükmün değişeceğine, maaş cüzdanının müşterek olması da ikimizin beraatine işarettir, der, Gerçekten birkaç saat sonra da tabiri gibi olur. Bir zaman sonra telgrafhanede Şeyh Ali Haydar Efendi'yi görür ve: -Efendi rüya tabiriniz gibi çıktı, deyip elini öper, hatta telgraf kâğıdını yazıverir.

Türkiye'de yeni kurulan idareye karşı olduğu öne sürülerek Ankara'ya götürülür. Ankara'da İskilipli Atıf Hoca ile beraber aynı koğuşta kalır. Hapishanede kaldığı sırada rüyasında şeyhini görür ve şeyhi ona bir rivayetle 33, başka bir kaynakta 41 defa Fetih suresini okursan kurtulursun der. Ali Haydar Efendi okumaya başlar. Bir yandan da okuduğu sayıyı ranzaya işaretler. Onun böyle yaptığını gören İskilipli Atıf Hoca, (Allah rahmet eylesin); -Hoca ne.yapıyorsun, der. Ali Haydar Efendi de: -Rüyamda şeyhim böyle söyledi, sen de oku kurtulursun inşa der. İskilipli Atıf Hoca da: -Bu gece ben de rüyamda Peygamber Efendimizi gördüm (sav). "Atıf ben seni çağırıyorum, sen savunmanı hazırlıyorsun" buyurdu. Ben de savunmamı (müdafaaname) yırttım" der. Bilindiği üzere Atıf Efendi şehadet, Ali Haydar Efendi hizmet şerefiyle Allahu Teala'nın nimetine vasıl oldular.

Ahıskalı Ali Haydar Efendi (KS), yıllarca ilim öğrenmek, ilmi öğretmek ve insanlara İslâmı anlatmak için meşgul oldu. Edebin birinin dahi terkine rıza göstermezdi. Pek çok ilim erbabı yetiştirdi, kıymetli müridleri oldu. Vaktinin büyük bir bölümünü Kur'an-ı Kerim okumakla geçirirdi. "Sülbümden değil, yolumdan gelen benim evlâdımdır" derdi. Uzaktan yakından ziyaretine kimler gelmez ki? Erzurum'dan Alvarlı Muhammed Lutfi Efendi, Ramazanoğlu Sami Efendi, Hasip Efendi, Mehnet Zahid Kotku ve nice alim, fazıl kişiler...

Siyasetten uzak durur. Talebelerinin de uzak durmalarını tavsiye ederdi. Ali Haydar Efendi , derin bir bilgiye sahipti. Dînî ilimleri bihakkın kavrayan bir zekâya sahipti. Hitab ettigi cemaati hemen te'siri altına alırdı. .

Uğrunda hayatı boyunca mücadele ettiği en büyük gayesi; Allah'ın indirdiği ile hükmetmekti. Maruz kaldığı çile ve meşakkatlara gögüs germiştir. Emr'i bi'l-ma'rufa büyük önem verirdi. "Din-i Mübin-i İslâm'ın devam ve bekası, emr-i bi'l-maruf ve nehy-i ani'l-münkerin devamına; dîn-i mübin-i İslâm'ın inkırazı (yıkılması) ise emr-i bi'l-maruf ve nehy-i ani'l-münkerin ( iyiliği emredip kötülükten alıkoyma) terkine bağlıdır." derdi.

Ali Haydar Efendi (K.S.), tasavvuf ehli olarak Nakşbendiyye'nin Halidî koluna mensuptu. Silsilede sırası otuzbeşinciydi. Şeyhi ise, Bandırma'da medfun bulunan Mevlana Ali Rıza el-Bezzaz (K.S) idi. Ali Haydar Efendi Nakşbendi tarikatının şeyhlerinden olan ve silsilede 32. sırada bulunan, Mevlana Muhammed Mustafa İsmet Garibullah (K.S) Efendi'nin Fatih Çarşamba'da Cebecibaşı mahallesindeki konağını tekke edinerek, Şeyh İsmet Efendi Dergahı adı verilen bu tekkede, irşad makamında oturmuştur.

Dergahının bulunduğu mahalde bulunan evinde, 1 Ağustos 1960 tarihinde vefat etti. Vefatında, âyetler okuyarak, etrafındakilere nasihatler ederek, tebessümler saçarak, dar-ı bekaya göç etti. Arkasında binlerce gözü yaşlı mürid bıraktı. Kabri Edirnekapı Sakızağacı kabristanındadır.