ก่อนที่ประเทศไทย จะตั้งอาณาจักรสุโขทัย นั้น ดินแดนตั้งแต่เมืองละโว้ ลงมาทางตอนใต้จนถึงทะเลจีน เป็นของเขมรทั้งสิ้น ดังจะเห็นได้จากซากปรักหักพังของปราสาทต่าง ๆ ซึ่งมีกระจัดกระจายอยู่ทั่วไปในภาคอีสาน

ดอนป่าหงส์ ซึ่งอยู่ทางทิศเหนือ และติดกับบ้านศรีแก้วก็เห็นเป็นร่องรอยปราสาท ชาวบ้านเรียกว่า “ปราสาทป่าหงส์” เดิมมีตัวปราสาท มีโคปุระ มีบัลลังก์ และบาราย เป็นเทวะสถานสำคัญเก่าแก่ และศักดิ์สิทธิ์แห่งหนึ่ง

จากคำบอกเล่าของพระครูรัตนภูมิพิจารณ์ อดีตรองเจ้าคณะอำเภอกันทรลักษ์ และเจ้าอาวาสวัดเกียรติแก้วสามัคคี นายเดช เถาว์มูล อดีตกำนันตำบลศรีแก้ว นายรินทร์ ถันทอง และนายมี หอมชาติ ราษฎรตำบลศรีแก้ว ซึ่งทั้งหมดทุกคนที่กล่าวมานี้ ล้วนแล้วแต่มีอายุ ๘๐ ปี ขึ้นไป (ปัจจุบัน ทุกคนเสียชีวิตหมดแล้ว)

ทุกคนเล่าตรงกันว่า ปราสาทป่าหงส์ เป็นเทวะสถานสำคัญแห่งหนึ่ง เป็นศิลปะเขมรโบราณแบบปาปวน สันนิษฐานว่า สร้างมาแต่สมัยพระเจ้าสุริยะวรมัน เพื่อประดิษฐานศิวลึงค์ หรือเทวรูป ซึ่งเป็นที่เคารพ ตามความเชื่อในศาสนาฮินดู ลัทธิไสวนิกาย พอถึงวันพระมักจะได้ยินเสียงฆ้อง และกลองดังกระหึ่มในเวลากลางคืน

ในเดือนมิถุนายน พ.ศ. ๒๕๐๒ ผู้เขียนได้ยินข่าวลือว่า มีพวกหาของเก่ามาขโมยขุด ค้นหาเทวรูปเพื่อนำไปขาย จึงได้เดินทางเข้าไปดู ปรากฏว่า ใต้บัลลังก์มีการขุดหลุมกว้างขนาดเส้นผ่าศูนย์กลาง ๑ เมตร ลึกประมาณ ๑ เมตร เห็นบัลลังก์ล้มลง หม้อ ไห กระโถน คันโทน้ำ วางระเกะระกะอยู่จำนวนมาก รูปร่างลักษณะเหมือนหม้อและไหที่บ้านเชียง จังหวัดอุดรธานี บางชิ้นยังอยู่ในสภาพดี บางชิ้นมีสภาพแตกหัก ผู้เขียนไม่กล้าแตะต้อง เพราะกลัวจะมีอันเป็นไปในทางที่ไม่ดี สิ่งที่เห็นชัดและยังคง สภาพเดิมอยู่ก็คือ บาราย ในวันที่ผู้เขียนเข้าไปดูนั้น ในบารายมีน้ำขังอยู่ลึกประมาณครึ่งเมตร น้ำใส มองเห็นใบไม้ที่ทับถมอยู่ก้นบาราย ผู้เขียนได้เอามือจุ่มน้ำรู้สึกถึงความเย็นยะเยือกจนขนหัวลุก

บารายเป็นคำในภาษาเขมร หมายถึง สระน้ำ ซึ่งเป็นความผูกพันกับวิถีชีวิตของกลุ่มชนชาวเขมรโบราณ ซึ่งจะมีปรากฏตามเทวะสถานทุกแห่ง ไม่ว่าจะสร้างบนภูเขาหรือที่ราบ ถือเป็นแอ่งน้ำศักดิ์สิทธิ์ มีไว้สำหรับอุปโภค บริโภค และที่ขาดไม่ได้ก็คือ จะใช้นำในบาราย เป็นน้ำดื่มพิพัฒน์สัตยาบรรณระหว่างผู้นำและหัวเมืองต่าง ๆ ปีละครั้ง ลักษณะของบาราย จะขุดและกรุด้วยศิลาแลงทอดเป็นขั้น ๆ ลงไปยังก้นสระ ใช้เป็นผนังกั้นมิให้ดินพังทลายลงไป ในการขุดบารายลูกนี้ ผู้เฒ่าผู้แก่เล่าต่อ ๆ กันมาว่า ได้พบลูกแก้วลูกหนึ่ง ใหญ่เท่าผลมะตูม จึงขนานนามเมืองนี้ว่า เมืองสระแก้ว ส่วนหมู่บ้านที่ตั้งอยู่ในบริเวณ รอบ ๆ นี้ มีชื่อว่า บ้านสระแก้ว บ้านสระแก้วเจริญรุ่งเรืองมาหลายร้อยปีแล้ว

ในปี พ.ศ. ๒๓๒๕ สมัยรัชกาลที่ ๑ แห่งกรุงรัตนโกสินทร์ มีการกล่าวโทษพระยาขุขันธ์-ภักดี (ขัน) ทำให้พระภักดีภูธรสงคราม (อุ่น) ปลัดเมืองขุขันธ์ไม่พอใจ จึงกราบบังคมทูลขอตั้งเมืองใหม่ มีนามว่าเมืองศรีสะเกษ และโปรดเกล้าฯ ให้พระภักดีภูธรสงคราม เป็นพระยารัตนวงศา เจ้าเมืองศรีสะเกษ ขึ้นต่อเมืองขุขันธ์ หลายปีต่อมา ทางราชการได้ยกฐานะเมืองศรีสะเกษ ขึ้นเป็นจังหวัด และยุบจังหวัดขุขันธ์ ลงมาเป็นอำเภอ ขึ้นตรงต่อจังหวัดศรีสะเกษ

ทางฝ่ายบ้านสระแก้ว ซึ่งเคยขึ้นกับจังหวัดขุขันธ์ ครั้งจังหวัดขุขันธ์ถูกยุบฐานะมาเป็นอำเภอ และตั้งเมืองศรีสะเกษมาเป็นจังหวัดแทน ดังนั้น ราษฎรบ้านสระแก้ว จึงได้ประชุมกัน ที่ประชุมมีมติให้เปลี่ยนชื่อจาก “บ้านสระแก้ว” มาเป็น “บ้านศรีแก้ว” ตามนามของจังหวัดตราบเท่าทุกวันนี้