Efsaneye göre Gülümbe köyü Osman Beyin Gülümbe bölgesindeki Müslüman akıncı ailelerinin acılar içinde yaşamaları devamlı savaş halinde olmaları Osman beyin bu bölgeyi almasıyla gülün oynayın demesinden gelmiştir.
Aynı zamanda Osman bey yaverine Gülümbe'yi vermiş olup yaveri de dört oğluna köyü pay etmiyor olup kurulduğundan beri dört mahalleden oluşmaktadır. Tarihi bir köydür. İpek böcekçiliği yıllardır sürmekte olup aynı zamanda ipek ipi çekildiği tohumunu satıldığı tohumcular denen aile tarafından yapıldığı bölgeye satıldığı bilinmektedir.
Her sene köyde hıdıralez kutlamaları yapılır DÜğünlerde ve bayramlarda geleneksel adetler kullanılır köy halkı şalvar giyer. Köyde 18. yüzyıldan gelmiş bir hamam vardır hâlen kullanılmaktadır. Köyde 17. yüzyılda Osmanlı Devleti zamanından gelen bir yatır vardır. Büyüklerimin dediğine göre yatır dede bir gün sabana gitmiş orada sabanın tek parmağı kırılmış ve sabandan kan akmıştır. Yatır dede köye geldiği zaman acı haberi duyar oğlu askerde şehit düşmüştür. Orada can verir. Yatırı oradan kaldırmak isterler ama kimse buradan yatırı kaldıramaz. Köy halkıda yatır buradan kalkmadığı için Yatırın oğlunu buraya gömerler.
Bilecik merkezine 7 km uzaklıktadır. Köy Marmara iklimini taşıdığı yeşillik boldur. Arazilerde genellikle tek yıllık bitkiler mevcuttur. Köyde iklim şartları normal olduğundan her çeşit hayvan bulunmaktadır.
