วัดป่าขอม เดิมเรียกว่า วัดป่าขัน ตามตำนานพื้นเมืองเล่าว่า วัดนี้สร้างโดยนางเลือดขาว ส่วนในหนังสือกัลปนาวัดจังหวัดพัทลุงในสมัยอยุธยา กล่าวถึงวัดนี้ว่า พระมหาอินทร์ได้สร้างวิหารขึ้นที่วัดป่าขัน (ป่าขอม) และเข้าใจไปยังกรุงศรีอยุธยาขอพระราชทานญาติโยมผู้มีจิตศรัทธาเป็นข้าวัดโดยไม่ต้องเสียส่วยให้แก่หลวงอีกต่อไป ในสมัยอยุธยาวัดป่าขอมมีพื้นที่กัลปนาวัดประมาณ ๒๐๐ ไร่ ต่อมาวัดร้างไปนานจนกระทั่ง พ.ศ.๒๔๗๙ หลวงพ่อเปลี่ยนและแม่ชีเลื่อน ได้บูรณะวัดขึ้นใหม่ หลวงพ่อเปลี่ยนเป็นเจ้าอาวาสอยู่ ๗ - ๘ ปี ก็ไปจากวัดจน พ.ศ.๒๕๐๖ พระอาจารย์ล่อง อมมรโต เป็นเจ้าอาวาส ได้พัฒนาวัดจนได้รับพระราชทานวิสุงคามสีมา เมื่อวันที่ ๒๒ มิถุนายน ๒๕๑๙ ในชื่อป่าขอม

วัดป่าขอมมี อุโบสถ พระอาจารย์ล่อง ได้สร้างอุโบสถหลังใหม่ขึ้นบนฐานอุโบสถเดิม เมื่อ พ.ศ.๒๕๑๓ เป็นอุโบสถก่ออิฐถือปูน มีขนาดกว้าง ๒๐ เมตร ยาว ๒๘ เมตร อุโบสถเดิมมีกำแพงแก้วก่ออิฐถือปูนล้อมรอบแต่ชำรุดมาก เมื่อมีการสร้างใหม่จึงรื้อแนวกำแพงแก้วเดิมออกเสีย ปัจจุบันภายในอุโบสถมีพระพุทธรูปหินทรายสีแดงปางมารวิชัยจำนวน ๓ องค์ พระประธานองค์กลางมีขนาดใหญ่ ชาวบ้านเรียกว่า ท่านนั่ง หรือ พระพุทธ หรือ พระพุทธนิมิตร ลักษณะสวยงาม ศิลปะสมัยอู่ทอง อายุพุทธศตวรรษที่ ๑๘-๑๙ หน้าพระประธานมีพระสาวกประทับนั่งชนเข่าประนมมือ ๒ องค์ คือพระโมคคัลลานะเบื้องซ้ายและพระสารีบุตรเบื้องขวา

ใบเสมา จำหลักจากหินทรายสีแดงจำนวน ๒ ใบ ส่วนยอดมีลวดลายรูปดอกจันทร์ อกเสมาสลักเป็นรูปลายประจำยาม ตัวกนก เป็นใบเสมาสมัยอู่ทอง เดิมวัดป่าขอมมีจำนวน ๘ ใบ ต่อมาเมื่อวัดร้างได้มีผู้นำไปที่วัดเขาแดงออก ๓ ใบ อีก ๓ ใบ พระธรรมเมธาจารย์ เจ้าคณะธรรมยุติ จังหวัดพัทลุง ได้เก็บรักษาไว้ที่พิพิธภัณฑ์วัดภูผาภิมุข

เจดีย์ ตั้งอยู่ด้านหลังอุโบสถ ก่ออิฐถือปูน ปัจจุบันหักพังลงเหลือเพียงฐานเป็นรูปสี่เหลี่ยมจัตุรัส ขนาด ๑๐ x ๑๐ เมตร สูงจากพื้นที่ประมาณ ๔ เมตร เล่ากันว่าเดิมเป็นเจดีย์รูปแบบเดียวกันกับพระบรมธาตุเจดีย์นครศรีธรรมราช เมื่อสมัยที่เจดีย์พังทลายลงไปทางทิศตะวันตก ได้พบถ้วยชาม พระพุทธรูปและเงินตรานโมเป็นจำนวนมาก

อนุสาวรีย์พ่อจอมสิทธิชัย เป็นอนุสาวรีย์รูปเหมือนของหลวงพ่อจอมสิทธิชัย ปั้นด้วยปูน เล่ากันว่าหลวงพ่อจอมสิทธิชัยเป็นเจ้าอาวาสวัดป่าขอมและเป็นเพื่อนกับสมเด็จเจ้าเกาะใหญ่ สมเด็จเจ้าเขาพังไกรและสมเด็จเจ้าพะโคะ ซึ่งปัจจุบันเป็นที่เคารพสักการะของชาวบ้านโดยทั่วไป