ประวัติการสร้างพระตำหนักกรมหลวงชุมพรเขตอุดมศักดิ์ ณ บ้านแหลมศอก เริ่มจากพระครูสถาพร พุทธมนต์ (หลวงพ่อสำเนียง อยู่สถาพร) ได้เดินทางมาภาคตะวันออกและได้มาพบกับสถานที่ตรงกับในความฝันซึ่งเป็นนิมิตหมายที่ดี ณ บ้านแหลมศอก จึงติดต่อกับเจ้าของที่ดินได้แก่ นางแฝ่ สพโชค นางสมศรี สพโชค และนายปราณีต พิณเสนาะ ซึ่งเป็นเจ้าของกรรมสิทธิ์ทที่ดินในปี พ.ศ.2523 ซึ่งพวกเขาได้มีจิตศรัทธาพร้อมใจกันอุทิศที่ดิน ประมาณ 4 ไร่เศษ ถวายให้แก่พระครูสถาพร พุทธมนต์ เจ้าอาวาสวัดเวฬุวนาราม ตำบลลำพญา อำเภอบางเลน จังหวัดนครปฐม เพื่อประโยชน์ด้านสาธารณูประการ เมื่อวันที่ 12 พฤษภาคม พ.ศ.2524 ได้มีการสร้างพระตำหนักกรมหลวงชุมพรเขตอุดมศักดิ์ โดยมีนางจริยา เจริญยิ่ง และคณะ ร่วมกับชาวบ้านตำบลอ่าวใหญ่และผู้มีจิตศรัทธาได้พร้อมใจกันสร้างพระตำหนักกรมหลวงชุมพรเขตอุดมศักดิ์และจัดพิธีทำบุญ และมีการบูรณะพระตำหนักกันมาอย่างต่อเนื่องทุกปี พร้อมทั้งได้มีการสร้างพระตำหนักฯ หลังใหม่ เพื่อให้สมพระเกียรติ ในวันที่ 19 ธันวาคม พ.ศ.2548 ได้มีพิธีวางศิลาฤกษ์ โดยมีพลเรือเอกธีระ ห้าวเจริญ อดีตผู้บัญชาการทหารเรือ มาเป็นประธานในพิธี กระทั่งในปี พ.ศ. 2550 ได้มีการเสริมสร้างพระตำหนักฯ หลังใหม่ขึ้นมาเพื่อทดแทนหลังเก่าที่ทรุดโทรมไปให้บรรลุตามวัตถุประสงค์