เดิมเป็นบ้านละก่อ ต่อมาสมัยขอม ซึ่งปัจจุบันยังมีวัตถุโบราณอยู่ บ้านละกอหมู่ ๕ เดิมขึ้นอยู่กับตำบลสีสุก ต่อมาเมื่อปี พ.ศ. ๒๕๒๙ ได้เปลี่ยนเป็นหมู่ที่ ๔ ตำบลศรีละกอ มีผู้ใหญ่บ้านคนแรกชื่อ นายมน บ้านละกอตั้งมานานประมาณ ๑๐๐ กว่าปี