1991 yılında yapılan erken seçimle Refah Partisi’nin Kayseri Milletvekili olarak Parlamento’ya girdi. 1991-1995 tarihleri arasında TBMM Plan ve Bütçe Komisyonu üyeliği yaptı. 1993 yılında Refah Partisi’nin Dışişlerinden sorumlu Genel Başkan Yardımcılığı görevine seçildi. Bu süre içinde Avrupa ve Amerika’daki birçok kuruluşlarda yaptığı konuşmalarla parti görüşünü anlattı. 1995’de yapılan genel seçimlerde, ikinci kez Refah Partisi Kayseri Milletvekili seçildi. 1995-2001 yılları arasında Dışişleri Komisyonu üyeliği görevini yürüttü. 54. Hükümette, Devlet Bakanlığı ve Hükümet Sözcülüğü görevlerinde bulundu. 1999 yılında Fazilet Partisi'nden üçüncü kez milletvekili seçilerek Parlamentoya girdi. 14 Mayıs 2000 tarihinde yapılan Fazilet Partisi 1. Olağan Büyük Kongresinde Genel Başkan Adayı oldu. Genel Başkanlık yarışını az bir oy farkıyla kaybetmiş olmasına rağmen, kongrede elde ettiği netice tüm siyasi çevrelerce büyük bir başarı olarak değerlendirildi.
Fazilet Partisinin kapatılmasıyla birlikte, Yenilikçi Hareket'e önderlik etti. Başlangıcından itibaren halkın büyük bir teveccüh gösterdiği Yenilikçi Hareket, Ağustos 2001'de Adalet ve Kalkınma Partisi (AK Parti) adıyla Türk siyasi hayatındaki yerini aldı. Abdullah Gül, AK Partinin Kurucular Kurulu üyesi olarak partileşme sürecindeki etkin rolünü sürdürdü ve Siyasi ve Hukuki İşlerden Sorumlu Genel Başkan Yardımcısı olarak görev yaptı. 1992 yılında Avrupa Konseyi Parlamenterler Meclisi Üyesi oldu ve Konseyin Kültür, Tüzük, Siyasi ve Ekonomik Kalkınma Komitelerinde çalıştı. 2001 yılına kadar yürüttüğü Avrupa Konseyindeki çalışmalarından dolayı kendisine “Pro merito“ madalyası ve Konseyin sürekli “Onursal Üyesi” ünvanı verildi. 3 Kasım 2002 Milletvekili seçimlerinde Kayseri Milletvekili olarak tekrar seçildi. 16 Kasım 2002 tarihinde Başbakan olarak 58.Hükümeti kurmak ile görevlendirildi. 14 Mart 2003 tarihinde Adalet ve Kalkınma Partisi Genel Başkanı Sn.Recep Tayyip Erdoğan başbakanlığında kurulan yeni kabinede Başbakan Yardımcısı ve Dışişleri Bakanı olarak görev aldı. Evli ve 3 çocuk babasıdır. İngilizce bilmektedir.