บ้านสะกอมมีประวัติความเป็นมาไม่ต่ำกว่า 200ปี โดยในสมัยที่กรุงศรีอยุธยาแตกเมื่อปี 2310ชาวบ้านที่นับถือศาสนาอิสลามส่วนหนึ่งได้อพยพจากกรุงศรีอยุธยาหนีพม่ามาตั้งถิ่นฐานที่บ้านสะกอม และอีกส่วนหนึ่ง ไปตั้งถิ่นฐานที่อำเภอตากใบ จังหวัดนราธิวาส ชาวบ้านทั้งสองพื้นที่นี้มีภาษาที่คล้ายคลึงกันมาก สำหรับชาวจีนที่เข้ามาทีหลังในลักษณะพ่อค้าสำเภา ล่องเรือผ่านบ้านสะกอม เห็นทำเลที่ปากน้ำสะกอมเหมาะสำหรับการติดต่อค้าขาย จึงได้เข้ามาตั้งถิ่นฐานกลางหมู่บ้าน ซึ่งเรียกกันว่าบ้านจีน มาจนถึงปัจจุบันกล่าวว่า คนจีนที่เข้ามาอาศัยที่บ้านสะกอมเป็นจีนชุดเดียวกับคนจีนที่ตั้งถิ่นฐานที่ถนนครนอกและนครใน อำเภอเมือง จังหวัดสงขลา หลักฐานที่พอจะสนับสนุน ได้แก่ศาลเจ้าปุนเถ้าก๋ง ที่บ้านจีนซึ่งมีลักษณะเช่นเดียวกับศาลเจ้าปุนเถ้าก๋งที่หลักเมืองสงขลานอกจากนี้ชาวบ้านจีนที่ตำบลสะกอมกับชาวจีนที่ถนนนครนอกและนครในมีความสัมพันธ์และไปมาหาสู่กันเสมอ อาชีพหลักของชาวสะกอมในสมัยนั้น กลุ่มชาวไทยมุสลิมมักจะทำประมงชายฝั่ง ส่วนกลุ่มชาวจีนจะค้าขายทางทะเล

สำหรับสินค้า ชาวบ้านสะกอมในสมัยนั้น สินค้าหลักที่นำไปขาย ได้แก่ ปลาเค็ม น้ำปลากะปิ ปลาร้า ซึ่งรับซื้อจากกลุ่มชาวไทยมุสลิมในตำบลสะกอมนั่นเอง นอกจากนี้ยังมีเกลือ เสื่อกระจูด กระสอบกระจูด ฯลฯ สินค้าเหล่านี้จะบรรทุกเรือสำเภา หรือที่ชาวบ้านเรียกว่า เรือใบ ตามเมืองท่าต่าง ๆ เช่นกรุงเทพมหานคร ปีนัง ตรัง กานู เปอร์ลิส ประเทศมาเลเซีย สิงค์โปร์ และจีน โดยออกไปเที่ยวหนึ่ง ๆ ประมาณ 7 วัน 1 เดือน ขากลับจะบรรทุกสินค้าคู่ค้ากลับมาขายที่ตำบลสะกอม และบริเวณใกล้เคียง สินค้าที่นำมาส่วนใหญ่เป็น ผ้า บุหรี่ น้ำหอม ทองคำ อาหารกระป๋อง อาหารแห้ง และอุปกรณ์ เครื่องใช้ภายในบ้าน