มีเรื่องเล่าว่าพระพุทธรูปสร้างขึ้นเมื่อครั้งบูรณปฏิสังขรณ์พระบรมธาตุเจดีย์นครศรีธรรมราช หมู่พุทธบริษัทที่ไปไม่ทันได้ฝังทรัพย์สมบัติไว้ใต้เพิงผาและสร้างพระพุทธรูปปิดทับ ในขณะที่บางกลุ่มกล่าวว่า เป็นพระพุทธรูปที่นางเลือดขาวสร้างไว้ องค์พระยาว ๙ เมตร ฝ่าพระบาทมีลวดลายนูนคล้ายดอกบัว พระเศียรทรงเทริดมโนห์รา มีผู้พบโครงกระดูกใต้ฐานพระพุทธรูปอายุมากกว่า ๓,๐๐๐ ปี

ส่วนที่เป็นวัดเพิ่งสร้างขึ้นใหม่ เมื่อประมาณปี พ.ศ. ๒๔๖๕ เดิมเรียกว่า "วัดเขา" ตอนที่กรมศิลปากรได้ขึ้นทะเบียนวัดแห่งนี้ให้เป็นโบราณสถานใช้ชื่อว่า "วัดเขาชุมทอง" แต่ปัจจุบันเรียกกันว่า "วัดภูเขาทอง"

ขึ้นทะเบียนเมื่อวันที่ ๘ มีนาคม ๒๔๗๘