จากการประมวลการบอกเล่าได้ความว่า เมื่อครั้งที่พวกข่าตั้งเมืองขึ้นในบริเวณดังกล่าว ได้มีการสร้างกู่ธาตุ หรือเจดีย์ตามแบบอย่างความเชื่อ ดังเห็นได้จากศิลปกรรมสมัยล้านช้างที่ปรากฏขึ้นในภาคอีสาน โดยมีการสร้างเจดีย์หรือกู่ธาตุขึ้นหลายแห่ง เช่น กู่ก่องข้าวน้อย ที่บ้านตาดทอง จังหวัดยโสธร เจดีย์ศรีสองรัก จังหวัดเลย พระธาตุบ่อพันขัน อำเภอสุวรรณภูมิ จังหวัดร้อยเอ็ด พระธาตุยาคู อำเภอกมลาไสย จังหวัดกาฬสินธุ์ เป็นประเพณีที่นิยมก่อสร้างกู่ธาตุ หรือเจดีย์ ไว้เป็นสถานที่ประกอบพิธีกรรมทางศาสนา และภายในบริเวณบ้านโนนม่วงได้ปรากฏได้ว่ามีกู่ธาตุอยู่ ๒ กู่ ลักษณะของกู่มีรูปร่างที่สมบูรณ์ เรียกว่า “กู่ธาตุ” ตั้งอยู่ทางตอนเหนือของหมู่บ้าน อีกกู่ มีลักษณะเป็นพูนดิน มีพืชปกคลุมไปทั่วบริเวณ ชาวบ้านเรียกว่า “กู่ธาตุน้อย” ในปัจจุบันเป็นที่เคารพของหมู่บ้าน สำหรับเรื่องราวของ กู่ ได้มีการเล่าเป็นตำนาน ดังนี้ ในการตั้งเมืองเป็นที่เรียบร้อยแล้ว ได้มีการสร้าง กู่ธาตุ ขึ้น เพื่อเป็นที่เคารพของคนในหมู่บ้าน ในการก่อสร้างได้มีการแบ่งชาวบ้านออกเป็น ๒ กลุ่ม คือ กลุ่มผู้หญิง และกลุ่มผู้ชาย ในระหว่างการแข่งขันนั้น มีบรรยากาศที่แตกต่างกัน สำหรับผู้หญิงมีการตั้งใจพยายามที่จะสร้างให้แล้วเสร็จ ในขณะที่ก่อสร้างอย่างรีบเร่งเพื่อให้ทันเวลา จึงไม่มีการสนในผ้านุ่ง และในบางครั้งผ้าที่นุ่งหลุดจากร่างกาย บางคนนุ่งผ้าน้อยชิ้น จึงทำให้ภาพที่ออกมาแต่ละคนอยู่ในสภาพโป้ เรื่องการนุ่งผ้าหลุดจนเกิดความโป้นั้น รู้ไปถึงฝ่ายชาย ในขณะที่ก่อสร้างก็มีการร้องรำทำเพลง กินเหล้าเมามาย จึงทำให้บางกลุ่มแอบมาดูฝ่ายหญิงจนถึงเวลากำหนด ผลที่ออกมาจึงทำให้ฝ่ายชายเป็นผู้แพ้ ไม่มีเวลาที่จะก่อสร้างให้แล้วเสร็จทันตามเวลาที่กำหนด ผู้ชนะจึงเป็นฝ่ายหญิง ด้วยเหตุดังกล่าว จึงมีการตั้งชื่อเมืองว่า “เมืองนางคะบุรี” ต่อมาอาจเรียกเพี้ยนเป็น “เมืองยางคะบุรี” ดังปรากฏกล่าวอ้างของ อาจารย์แก้ว ทิพย์อาสน์ และบริเวณที่ตั้งกู่ธาตุ ชาวบ้านถือว่าเป็นสถานที่ศักดิ์สิทธิ์ มีการเล่าขานถึงความศักดิ์สิทธิ์ ดังนี้ ในครั้งก่อน ๆ ผู้ใดที่ค้าวัว ค้าควาย ถ้าต้อนสัตว์ผ่านบริเวณกู่ สิม หรือผ่านหมู่บ้าน และไม่ได้มีการบอกกล่าวที่กู่ธาตุ ก็ต้องมีเหตุเกิดขึ้น คือ อยู่ ๆ ฝูงสัตว์เดินมาอยู่ดี ๆ พอมาถึงกู่ธาตุก็ตกใจวิ่งแตกฝูงเข้าป่าเข้าดงไปตามหาเท่าไหร่ก็ไม่เจอ ต้องมาจุดธูปบอกกล่าว ฝูงสัตว์ก็ออกมาจากป่ามารวมฝูงกันเอง (จันทร์ ผลาศาสตร์)