ความเป็นมาของวัดและหมู่บ้านไสกระดาน เล่ากันว่าครั้งนั้นหมู่บ้านนี้เรียกว่าไสกระดาน หรืออีกนัยหนึ่งเรียกว่า (แสนกรรดาล) ซึ่งเต็มไปด้วยหมู่ไม้ใหญ่ๆมากมาย ครั้นนั้นหมู่บ้านไสกระดานนี้ส่วนมากจะประกอบอาชีพทางทำน้ำตาลเป็นส่วนมากกว่าอาชีพทำนา ครั้งหนึ่งมีเรื่องเล่าว่ามีพราหมณ์อพยพพวกหนึ่งซึ่งได้เดินทางมาจากทางใต้ และได้มาหยุดพักร้อนที่หมู่บ้านนี้และได้เที่ยวเดินทางขอน้ำกินไปตามหมู่บ้าน ขณะที่เดินทางไปขอน้ำกินที่บ้านหลังหนึ่งซึ่งปลูกเป็นกระท่อม และขอน้ำเจ้าของกระท่อมกิน แต่แล้วก็ไม่เป็นที่พอใจของพวกพราหมณ์เหล่านั้น จึงพากันสาปแช่งหยาบๆนานา ว่าอีบ้านแสนกรรกาล แล้วก็พากันเดินหนีออกไปจากที่นั่น ซึ่งเป็นที่มาของชื่อหมู่บ้านไสกระดาน ส่วนความเป็นมาของวัดไสกระดานมีอยู่ว่าได้มีพระธุดงค์ได้จาริกมาถึงหมู่บ้านนี้ และเวลานั้นก็เป็นเวลาเย็นจึงปักกลดลงที่ระหว่างนั้น ตอนเช้าก็ออกบิณฑบาตแล้วญาติโยมก็พากันมาทำบุญ และญาติโยมได้นิมนต์ท่านให้อยู่ต่อโดยพาท่านไปพักผ่อนที่วิหารเปลี่ยวเป็นวิหารเก่าแก่มาก ต่อมาท่านก็ได้สร้างวัดกรรดาลขึ้น ซึ่งมีญาติโยมในแถบหมู่บ้านช่วยกัน ซึ่งสร้างเป็นกุฏิประมาณสองห้องจำนวนหนึ่งหลังทำเป็นแบบทรงไทยมุงหญ้าแฝกและคา ตั้งแต่ท่านจำพรรษาอยู่ที่นั่นวัดก็ได้เจริญขึ้นเป็นลำดับ จนมีอุโบสถ แต่สร้างขึ้นเมื่อใดไม่อาจทราบได้ ส่วนพระที่จำพรรษาที่กล่าวมาก็คือ หลวงพ่อปลัดเสนหรือแสน ท่านเป็นพระที่เคร่งในทางการปฏิบัตินั่งพระกรรมฐษนเป็นส่วนมากกว่าทางการก่อสร้าง ต่อมาท่านได้มรณะลงยังความเสียใจแก่ชาวบ้านแสนกรรดาลเป็นอย่างมาก จึงได้พากันหล่อรูปท่านขึ้นด้วยเนื้อสำฤทธิ์