ความหมายชื่อบ้านคำว่า “กำปง” หมายถึงหมู่บ้าน ส่วนคำว่า “ปีแซ” หมายถึง ต้นกล้วย จากคำบอกเล่าของผู้เฒ่าผู้แก่ คือ กลุ่มผู้นำโดยโต๊ะอิโต๊ะมุ หนึ่งในสามพี่น้องที่อพยพมาจากกรุงเทพมหานคร โดยคนแรกตั้งถิ่นฐานอยู่ที่บ้านตะโละมาเนาะ อำเภอบาเจาะ คนที่สอง ตั้งถิ่นฐานอยู่ที่บ้านบูเก๊ะบูงอ อำเภอยี่งอ และคนที่สามได้บุกเบิกและตั้งถิ่นฐานอยู่ที่บ้านโคกกะลง อำเภอยี่งอ ที่ตั้งบ้านโคกกะดุง มีถนนซึ่งเป็นที่ผ่านเข้าออกของหมู่บ้านอุดมสมบูรณ์ด้วยสัตว์ป่า และกล้วยป่าเป็นจำนวนมาก ชาวบ้านนิยมนำหยวกกล้วยมาทำเป็นอาหาร เมื่อมีคนถามว่าจะไปไหน ก็ตอบว่าจะไปเอาหยวกกล้วย จึงนำมาตั้งเป็นชื่อหมู่บ้านว่า “กำปงปีแซ” หมายถึง หมู่บ้านต้นกล้วย จนถึงปัจจุบันมีจำนวนประชากรจากการสำรวจเมื่อปี ๒๕๕๔ จำนวน ๑๒๙ ครัวเรือน รวมประชากรทั้งสิ้น ๙๒๖ คน