Evliya Çelebi, Seyahatnamesinde adı geçen bir koy, Armutlu'dan bahseder... Armutlu adının "Armoda veya Armodies" sözcüklerinden geldiği sanılmaktadır. Bu sözcüklerin sözlük anlamlarına bakıldığında donanma veya donanmaya gözcülük eden kimseler anlamına gelmektedir. Eski bir yerleşim merkezi olan ilçe bir çok isim değiştirek, Armutlu adını almıştır. Eski adlarından bazıları ise Enrutluk, Emrudili, Imrudili olarak bilinmektedir. Bu şirin ilçenin eski bir geçmişe dayanması Evliya Çelebi'nin ünlü Seyahatnamesinde 1050 senesine dayanan ve sefer ayının 9. gününe denk gelen satırlarında Mudanya ilçesine vardıklarını, oradan bir gemi ile Bozburun iskelesine geldiklerini ve bir koydan söz eder.

"Armutlu kasabası nahiyedir. Naib oturur. Subaşı Bursa Beyi tarafindan tayin edilir. Kasaba düz bir sahrada; bağlı, bahçeli, etrafı Armut bahçeleri ile süslü ve bakımlıdır. Onun için Armutlu derler. Üç yüz kadar bakımlı evleri vardır ki, baştan başa kiremitle örtülüdür, Bir camii, bir hamamı üç mescidi, bir hanı, on kadar da dükkanı vardır. 

Suyu ve havası çok güzeldir... Bir gece orada misafir kalıp, sabahla beraber gemicilerin haber vermesiyle acele kıyıya gelerek yine gemiye bindik. Allah'a hamdolsun, hafif bir batı rüzgarıyla Bozburun girdabından kurtulup yelkenleri açarak "Katırlı" adlı dağın dibinden "Bozburun" denilen yerde "Baba Sultan" ruhuna fatiha okuduk. Elli mil denize açılıp ilerlediğimiz vakit hava düzelerek ortalık süt liman oldu..." ünlü seyyah Evliya Çelebi Seyahatnamesindeki satırlarında bu şekilde bahsetmektedir. Ayrıca tarihi bilgiler Armutlu'nun 1300'den daha önceleri bir yerleşim merkezi olduğunu göstermektedir. Armutlunun Osmanlı döneminde fethi ise 1320 yılı 2. Orhan zamanına rastlamaktadır. Fetihten sonra Mudanya ve Tirilyeden getirilen Türkler Armutlu'da yerleştirilmiştir. Türkler ve Rumlar Armutluda uzun bir süre birlik ve beraberlik içinde yaşamışlardır. Cumhuriyetin ilani ile birlikte şirin ilçe Armutluda bulunan Rumlar Yunanistan ve Türkiye'nin imzaladıkları mübadele yolu ile Yunanistan'a, Yunanistan da bulunan Türklerde Türkiye ye gelerek Marmara bölgesine dağılarak yerleşim yerleri oluşturmuşlardır. 

Bu yerleşim yerlerinden biri olan Armutlu, göç edenlerle Bozburun doğanın tüm renklerini içinde bulunduran altın sarısı sahilleri ile
Marmara Denizi'nin incilerinden bir olmuştur. Evliya çelebi Seyahatnamesinin diğer satırlarında ise "Bozburun iskelesi, bakımlı bir iskeledir. Rüzgar almayan, akıntılı bir körfezde olduğundan, gelen gemiciler girdaba düşerek beş on gün, yahut bir iki ay yatar, denizin sakinleşmesini beklerler. İskele başında bir han , birkaç misafirhane, küçük bir camii serif ile birkaç bakkal dükkanları var. Başka bina eseri yoktur. Fakat dört bir tarafinda bağ bahçeleri çoktur" diye bahsetmektedir. Aynı dönemde Mudanya'dan getirilen Türkler ile o yıllarda Rus istilasında olan Gürcistan'dan göç eden Gürcüler Armutlu'nun yerlisi olarak bilinmişlerdir. Armutlu'nun kapsamlı bir tarih araştırması yapılmamıştır.