จากหาดแหลมศาลาเดินขึ้นเขาซึ่งมีความชันพอประมาณ ไปตามขั้นบันไดอีกประมาณ 430 เมตร ก็จะถึงทางลงถ้ำพระยานคร ใช้ระยะเวลาประมาณ 30 นาที ภายในถ้ำมี 3 คูหา มีหินงอกหินย้อยเป็นเชิงชั้นเหมือนม่าน บางส่วนก็หยดย้อยลงมาเป็นรูปร่างต่าง ๆ โดยสองคูหามีปล่องด้านบน ส่วนด้านล่างในถ้ำเป็นป่าต้นไม้ค่อนข้างสูง ในสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 5) มีพระราชประสงค์ใคร่จะเสด็จประพาส จึงให้นายช่างประจำราชสำนัก สร้างพลับพลาแบบจตุรมุขขนาดย่อมตั้งไว้บนเนินดินกลางถ้ำ พระองค์เสด็จประพาสเมื่อวันที่ 20 มิถุนายน พ.ศ. 2433 คราวเสด็จประพาสแหลมมลายูและพระราชทานนามพลับพลานี้ว่า “พระที่นั่งคูหาคฤหาสน์” พระที่นั่งนี้ใช้เป็นตราประจำจังหวัดประจวบคีรีขันธ์ ในปัจจุบัน

ต่อมาพระบาทสมเด็จประปกเกล้าเจ้าอยู่หัวรัชกาลที่ 7 เสด็จมาที่ถ้ำพระยานคร ในปี พ.ศ.2469 ซึ่งมีลายพระหัตถ์ของทั้งสองพระองค์อยู่ที่ผนังถ้ำ และรัชกาลที่ 9 ทรงเสด็จประพาสเยือน 2 ครั้ง เมื่อวันที่ 22 มิถุนายน 2501 และเมื่อวันที่ 31 พฤษภาคม 2524

เพราะฉะนั้น ถ้ำพระยานนครแห่งนี้จึงมีความสำคัญเป็นอย่างยิ่ง จนกระทั่งเป็นตราสัญลักษณ์ประจำจังหวัดประจวบคีรีขันธ์