หมู่บ้านเขาหอม เดิมเป็นส่วนหนึ่งของบ้านใหม่ หมู่ 4 ต่อมาประมาณปี พ.ศ.2513 ได้แยกออกมาตั้งหมู่บ้าน ชื่อหมู่บ้านเขาหอม ซึ่งเป็นชื่อที่เรียกตามสภาพภูมิประเทศ เนื่องจากสภาพพื้นที่เป็นภูเขาสลับกับพื้นที่ราบ บนภูเขามีไม้กฤษณาหรือไม้หอมขึ้นอยู่มากมายตามธรรมชาติ จึงเป็นที่มาของคำว่า “เขาหอม” ชาวบ้านกลุ่มแรกที่เข้ามาตั้งรกรากอยู่ที่เขาหอม เป็นชาวกาญจนบุรี มีภาษาพูดเป็นชาวกาญจนบุรี และสืบทอดมาจนถึงปัจจุบัน หมู่บ้านเขาหอม มีสถานที่ศักดิ์สิทธิ์ คือ ศาลเจ้าแม่เขาหอม สร้างโดยชาวจีนชื่อ “แป๊ะฮุ้น”