บ้านสลีเป็นคนไทยที่อพยพมาจากแคล้นสิบสองจุไทย มาตั้งถิ่นฐานอยู่แม่น้ำน่าน โดยใช้ช้างเป็นพาหนะ นำช้างไปผูกหรือเลี้ยงไวที่ป่าไผ่บง ช้างได้เหยียบย่ำป่าบงจนโล่งเตียน ชาวบ้าน จึงพากันบุกเบิกเป็นทุ่งนา จึงเรียกนานี้เพื่อเป็นอนุสรณ์ของช้างเรียกว่า ทุ่งช้าง (ภาษาพื้นเมืองเรียกว่า ต่ง คือทุ่ง) น้ำที่ไหลผ่านนานี้ ก็เรียกว่า น้ำช้าง ที่นาทุ่งช้างส่วนมาก จึงเป็นของชาวบ้านสลี ต่อมาเกิดโรคระบาดช้างล้มตายหมด

ต้นสมัยรัตนโกสินทร์ในสมัยกาลที่ ๑ เกิดศึกเก้าทัพ กองทัพพม่ามาตีเมืองไทย ก็มีชาวไทยเชียงแสน เกรงกลัวศึกพม่าพากันอพยพมาอยู่ที่เชียงของและได้รู้ข่าวพม่าจะยกลงมาตามแม่น้ำโขงเข้ามาตีเมืองหลวงพระบางอีก พากันอพยพมาอยู่ที่บ้านม่วงเมืองคอบ เพื่อหลบหนีข้าศึกษา ต่อมาเมื่อศึกสงบลงแล้ว เห็นว่าเมืองคอบคับแคบมาก จึงพากันหนีต่อไปอีกจนที่สุดก็มารวมอยู่กับชาวบ้านสลี เพราะเห็นว่าบ้านสลีมีชัยภูมิที่ดี บางคนเลยไปอยู่ที่อื่น เช่น บ้านทุ่งผึ้ง และเลยไปตั้งถิ่นฐานทางใต้อีกก็มาก พวกที่จากบ้านสลีไป เมื่อกลับมาเยี่ยมบ้านเดิม สมัยก่อนคนนิยมเรียกบ้านสลีว่าบ้านเก่า ที่ได้ชื่อว่าบ้านสลี เพราะสถานที่สร้างวัด ทั้งที่วัดร้างและวัดใหม่ในปัจจุบันนี้ มีต้นสลี(ต้นโพธิ์) ที่ใหญ่มากอยู่ทั้งสองแห่ง จึงเรียกชื่อบ้านตามชื่อวัดว่า ”สลี” พึ่งมาเปลี่ยนชื่อวัดเป็นวัดสุขศรี ในสมัยที่พระมหากันชัย เจ้าอาวาสวัดหัวเวียงใต้ รักษาการเจ้าคณะอำเภอทุ่งช้าง

เมื่อคนในหมู่บ้านสลี ซึ่งรวมตัวกันทั้งพวกสิบสองจุไทยและเชียงแสนรวมกันมากขึ้นทุกคนก็นับถือศาสนาพุทธมาก่อน จึงรวมใจกันตั้งสำนักสงฆ์ขึ้น ที่บริเวณต้นสลีใหญ่ติดกับลำน้ำและได้อาราธนาพระเจ้าครูบาเฮี้ยจากเมืองปัวมาเป็นเจ้าอาวาส เป็นรูปแรก เริ่มเผยแพร่พุทธศาสนาและบวชพระภิกษุสงฆ์สามเณรสืบต่อกันมา

ต่อมาวัดสลี ซึ่งอยู่ติดกับลำน้ำน่านและถูกน้ำเซาะ เกรงจะเป็นอันตรายต่อวัด จึงย้ายมาทางทิศใต้ห่างจากที่เดิมประมาณ ๖๐ วา มาสร้างใหม่ตรงต้นสลีใหญ่ที่เป็นบริเวณวัดปัจจุบัน

ที่ตั้งบ้านสลี หมู่ที่ 1 ตำบลทุ่งช้าง อำเภอทุ่งช้าง จังหวัดน่าน อยู่คาบเกี่ยวระหว่างเทศบาลกับ อบต.ทุ่งช้าง เป็นชนเผ่าพื้นเมืองน่าน อพยพมาจากแคว้นสิบสองจุไทย มาตั้งถิ่นฐานอยู่พื้นที่ที่มีต้นสลี เห็นว่าบริเวณที่ต้นสลีเป็นที่ราบลุ่มและชัยภูมิดี จึงตั้งหมู่บ้านตามชื่อต้นไม้ คือต้นสลี (ต้นโพธิ์)