วัดศรีสวาย ตั้งอยู่ทางตอนใต้ของวัดมหาธาตุห่าง ออกไปประมาณ ๓๕๐ เมตร โบราณสถานที่สําคัญตั้งอยู่ในกําแพงแก้ว ประกอบด้วยปรางค์ ๓ องค์ ศิลปะลพบุรีลักษณะของปรางค์ค่อนข้าง เพรียว ตั้งอยู่บนฐานเตี้ย ๆ ลวดลายปูนปั้นบางส่วนเหมือนลายบน เครื่องถ้วยจีน สมัยราชวงศ์หยวน เดิมพบทับหลังสลักเป็นรูปนารายณ์ บรรทมสินธุ์ ชิ้นส่วนของเทวรูปและศิวลึงซึ่งแสดงให้เห็นว่าเคยเป็น เทวสถานในศาสนาฮินดูมาก่อน แล้วแปลงเป็นวัดในพุทธศาสนา โดยต่อเติมวิหารพื้นที่ด้านหน้า