ตำนานความศักดิ์สิทธิ์ของเจ้าพ่อหลักเมืองตราด มีการเล่าต่อ ๆ กันมาหลายเรื่อง เรื่องหนึ่งมีอยู่ว่า เมื่อสมัยฝรั่งเศสเข้ายึดเมืองตราด เห็นประชาชนเข้าไปกราบไหว้เสาหลักเมืองมากกว่าเกรงกลัวฝรั่งเศสจึงให้คนไทยช่วยกันขุดทิ้ง คนไทยในจังหวัดตราดไม่ยอมขุด ชาวฝรั่งเศสจึงเอาช้างมาทำการดึงเสาหลักเมือง ช้างเหล่านั้นกลับตกหล่มตายหมด คนที่คอยคุมการดึงเสาหลักเมืองคอหักตาย ตั้งแต่นั้นมา พวกฝรั่งเศสก็ไม่กล้ายุ่งกับศาลเจ้าพ่อหลักเมืองอีกเลย นอกจากนี้ยังมีอีกเรื่องหนึ่ง โดยนายเฉลย ขำสม ได้เล่าไว้ว่า สมัยก่อนทางเข้าศาลเจ้าพ่อเป็นหลุมมีหญ้าขึ้นมากต้องจ้างคนมาถางหญ้า ทำถนน และซ่อมแซมศาล ซึ่งนายชุ่มและนายชั้น เป็นน้องชายนายกี๊ เป็นผู้รับจ้างของนายไหง สมุทรถา เวลาพักทานข้าวและพักเหนื่อยจะพักที่ศาลาเสาหลักเมืองอากาศเย็นสบายดี นายชั้นเอามือลูบหัวเสาหลักเมือง นายชุ่มเห็นจึงได้ห้าม นายชั้นพูดว่า "ไม่เป็นไรเจ้าพ่อเพื่อนกัน" แถมเคาะที่เสาอีกที นายชุ่มได้ห้ามอีกครั้งพร้อมพูดว่า "ประเดี๋ยวได้เห็นดี" นายชั้นแสดงอาการไม่เชื่อ ยังท้าพนันกับนายชุ่มอีกว่า เสาหลักเมืองนี้เป็นปูนหรือเป็นไม้ โดยนายชั้นเป็นคนพิสูจน์ นายชั้นได้ใช้ค้อนเคาะดู แล้วเดินออกไปทำงานประมาณบ่าย 2 โมง นายชั้นปวดหัวมาก นายกี๊และนายผ่องผู้เป็นพี่ชายรู้เรื่องได้พากันมาขอขมาแทน แต่ไม่ได้ผล วันรุ่งขึ้นนายชั้นถึงแก่ความตายรอบคอเขียวคล้ำ ชาวบ้านจึงสรุปว่าโดนเจ้าพ่อหักคอ