1970 yılında İçişleri Bakanlığı Özlük İşleri Şube Müdürlüğü'ne atandı. 1972 yılında açılan Mülkiye Müfettişliği imtihanını birincilikle kazanarak Mülkiye müfettişi oldu. 1975 yılında İçişleri Bakanlığı Özlük İşleri Genel Müdürlüğüne, 1976 yılı başında Kocaeli Valiliğine, 1977 yılında Emniyet Genel Müdürlüğüne, 1979 yılında Ankara Valiliğine atandı. 1981 yılı sonunda Yüksek Öğretim Kurulu Kurucu Üyeliğine getirildi. 1984 – 1988 yılları arası İzmir Valiliği yaptı. 1988’den itibaren İçişleri Bakanlığı Müsteşarlığı görevinde bulunan Gönül, TBMM'ce 8 Mayıs 1991 tarihinde Sayıştay Başkanlığı'na seçildi. Yedi yıl süre ile Sayıştay Başkanlığı görevinde bulundu.
Mehmet Vecdi Gönül, Fazilet Partisi'nden 21. Dönem Kocaeli, Ak Parti'den 22. Dönem Kocaeli, 23. Dönem İzmir ve 24. Dönem Antalya Milletvekili seçildi. 1 Haziran 1999 tarihinde de TBMM Başkan Vekilliğine getirildi. 2000 yılında ikinci defa TBMM Başkan Vekilliğine seçilen Gönül, daha sonra bu görevden ayrılarak Adalet ve Kalkınma Partisi’ne geçti. AK Partinin MKYK üyesi ve Genel Başkan Yardımcısı, TBMM'nin 21. Dönem 4. Yasama Yılının başlamasıyla birlikte de Avrupa Konseyi Parlamenter Meclisi ve Batı Avrupa Birliği Asamblesi Üyeliğine seçildi. M. Vecdi Gönül, 19 Kasım 2002 tarihinden itibaren 58., 59., ve 60. Hükümetlerde (8 yıl 8 ay süreyle) Millî Savunma Bakanı olarak görev yaptı. 24. Dönem TBMM’de NATO Parlamenter Asamblesi Türk Grubu Üyeliği görevini yürüttü. 3 Temmuz 2015 tarihinde TBMM dışından Millî Savunma Bakanı olarak atandı. 63. Hükümet (seçim hükümeti) döneminde yeniden Milli Savunma Bakanı olarak görev yaptı.
Avrupa ve Dünya Sayıştaylar Birliği Divan Başkanı, Dünya Sayıştaylar Birliği Teşkilatı Denetçisi, Basın İlan Kurumu Hükümet Temsilcisi, ASOK ve Makina ve Kimya Endüstrisi Kurumu Danışma Kurulu Başkanı, Avrupa Konseyi Türk Delegasyonu Başkanı olarak da görev yapan M. Vecdi Gönül, Kız Meslek Lisesi öğretmenliğinden emekli Sevim Gönül ile evlidir, üç çocuğu vardır. İspanya Beyaz Kurdeleli Büyük Askerî Liyakat Nişanı, Afganistan Gazi Amir Amanulah Han Yüksek Devlet Madalyası ve Ukrayna Altın Takdir Madalyası sahibidir. Yabancı dili İngilizcedir.