วัดเขาวังราชบุรี ตั้งอยู่บนเขาวังห่างจากตัวเมืองราชบุรีประมาณ ๓ กิโลเมตร เขาวังเดิมชื่อว่า “เขาสัตตนาถ” ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๕ พระองค์ทรงโปรดฯให้สร้างพระราชวังขนาดเล็กบนเขานี้ และมาประทับที่พระราชวังแห่งนี้เพียงครั้งเดียวเท่านั้น คือ เมื่อคราวเสด็จกลับจากประพาสไทรโยคและรับราชทูตโปรตุเกส แล้วก็ไม่ได้เสด็จประทับอีกตลอดรัชกาล พระราชวังนี้จึงถูกทิ้งร้างเรื่อยมา สภาพของเขาวังได้กลายเป็นป่ารกชัฏ คงเหลือแต่ซากท้องพระโรงและพระตำหนักที่บรรทมมีลักษณะปรักหักพังมาก แต่ยังมีหลังคาพอที่จะเป็นที่อาศัยได้บ้าง ส่วนบานประตู หน้าต่าง และพื้นไม่มีเพราะถูกรื้อถอนไปหมด

ปี พ.ศ.๒๔๖๗ พระครูพรหมสมาจารและพระครูภาวนานิเทศก์ ได้เดินทางปฏิบัติธุดงค์วัตรมาถึง ณ เขาวังแห่งนี้ และเห็นว่าเป็นสถานที่อันสงัด เหมาะเป็นที่พำนักบำเพ็ญสมณธรรมเป็นอย่างยิ่ง จึงได้พักแรมเพื่อปฏิบัติธุดงค์วัตร บำเพ็ญสมณธรรมเป็นการชั่วคราว และเมื่อวันที่ ๒๘ กุมภาพันธ์ พ.ศ.๒๔๗๑ พระครูพรหมสมาจารได้มอบหมายให้หลวงสวรรค์เทพกิจ คหบดีของเมืองราชบุรี กับพระยาอรรถกวี สุนทร ข้าหลวงประจำจังหวัดราชบุรี ทำการยื่นเรื่องขอพระราชทานพระราชวังกับกับภูเขาสัตตนาถให้เป็นที่ธรณีสงฆ์เหมือนดังเดิม ภายหลังจากได้รับพระราชทานพระราชวังและภูเขาสัตตนาถแล้ว พระครูพรหมสมาจารจึงได้ทำการรื้อพระราชวังที่ประทับเฉพาะส่วนที่ชำรุดทรุดโทรม แล้วต่อเติมกำแพงผนังโดยเสริมคอนกรีตจากกำแพงผนังพระราชวังเดิม สร้างเป็นพระอุโบสถ โดยเทคอนกรีตทั้งหลัง มุงด้วยกระเบื้องเคลือบอย่างดี ติดช่อฟ้า ใบระกา ลงรักปิดทอง ติดกระจก โดยได้รับพระราชทานวิสุงคามสีมา เมื่อวันที่ ๒๒ เมษายน พ.ศ.๒๔๗๓ และดำเนินการก่อสร้างแล้วเสร็จ เมื่อปี พ.ศ.๒๔๗๕ ตั้งชื่อวัดนี้ว่า “เขาวัง” ถือเป็นวัดที่ได้พัฒนาตัวเอง ด้วยการก่อร่างสร้างตัวด้วยทุนทรัพย์ของพุทธศาสนิกชน ผู้มีความเลื่อมใส ศรัทธาในบวรพระพุทธศาสนา เป็นที่เหมาะสมสำหรับประพฤติบำเพ็ญธรรมของเหล่าภิกษุ สามเณร อุบาสก และอุบาสิกาทั้งหลาย เป็นสถานที่ท่องเที่ยวของนักทัศนาจรและผู้ปฏิบัติธรรม ผู้รักความสงบเข้ามาหาความสุขทางใจ