เขาสรรพยา ตั้งอยู่ในเขตท้องที่ หมู่ ๑ ตำบลสรรพยา อยู่ทางทิศตะวันตกเฉียงใต้ของที่ว่าการอำเภอสรรพยา ห่างจากตัวอำเภอประมาณ ๓.๕ กิโลเมตร ภูเขาลูกนี้เดิมชื่อว่า เขาสับยา ต่อมาได้เปลี่ยนชื่อเป็นเขาสรรพยา เพื่อให้สอดคล้องกับเรื่อง รามเกียรติ์ ตอนพระลักษณ์ถูกหอกโมกข์ศักดิ์ของกุมภกรรณและหนุมานได้มาเอายาที่ภูเขาลูกนี้ชื่อ ยานี้ชื่อ สังกรณีและตรีชวา เป็นสมุนไพร นำไปบดกับกษัยยาน้ำในแม่น้ำมหานที เอาไปพอกที่บาดแผล หอกโมกข์ศักดิ์ก็หลุดไป

เขาสรรพยาเดิมไม่ค่อยมีใครรู้จักเป็นเพียงภูเขาที่ตั้งอยู่กลางทุ่งนา การเดินทางไปลำบาก จนกระทั่งชาวบ้านได้ขึ้นไปค้นพบวัตถุโบราณบนภูเขา เช่นพระอุโบสถ เจดีย์ ศาลาการเปรียญ ซึ่งโบราณสถานเหล่านี้ได้ชำรุดทรุดโทรมมาก นอกจากนี้เขาสรรพยายังมีสิ่งที่น่าสนใจและศึกษามากมาย ได้แก่

ถ้ำน้ำมนต์หรือถ้ำพระฉาย มีน้ำอันศักดิ์สิทธิ์ ชาวบ้านเชื่อกันว่าสามารถรักษาโรคได้ทุกชนิด ถ้ำกบ ถ้ำลับแลหรือถ้ำมหาสมบัติ ถ้ำค้างคาว ต้นกรณีและตรีชวา ซึ่งเป็นยาสมุนไพร