หลวงปู่พิบูลย์มีนามเดิมว่า พิบูลย์ แซ่ตัน เกิดที่บ้านพระเจ้า ตำบลมะอึ (ปัจจุบันตำบลพระเจ้า) อำเภอธวัชบรี จังหวัดร้อยเอ็ด บิดาซื่อนายสา แซ่ตัน มารดาซื่อนางโสภา แซ่ตัน มีอาชีพค้าขาย และทำนา เคยรับราชการทหารอยู่หลายปี และเคย แต่งงานแต่ไม่ปรากฏชื่อภรรยา และได้รับเด็กมาเลี้ยงเป็นลูกบุญธรรม จวบจนเมือลูกสาวแต่งงานมีเรือนแล้ว ท่านจึงออกบวช ขณะบวชเป็นพระ หลวงปู่พิบูลย์มีลูกศิษย์ลูกหามากมาย ท่านได้ออกแสวงหาความรู้ ฝึกฝน ปฏิบัติธรรมกับอาจารย์หลายท่าน จนเป็นที่เลื่อมใสของชาวบ้านทั่วไป ท่านได้ก่อตั้งหมู่บ้านบ้านแดงขึ้น และสร้างวัดพระแท่น บ้านแดงขึ้นในปี พ.ศ. 2483