หมู่บ้านกระซ้าขาวเป็นหมู่บ้านชายทะเล มีอาชีพประมงสืบทอดต่อกันมาหลายช่วงอายุคน ชาวบ้านดำรงชีวิตแบบเรียบง่าย หมู่บ้านกระซ้าขาวมีตำนานเล่าขานต่อๆกันมาอย่างยาวนาน จากคนเฒ่าคนแก่เล่าว่า ครั้งหนึ่งเคยมีโจรมาทางเรือจะขึ้นปล้นชาวหมู่บ้านกระซ้าขาว กลุ่มโจรได้ขึ้นมาสำรวจเส้นทางในหมู่บ้านเวลากลางวันและกลับลงเรือไปเพื่อรอเวลาให้พระอาทิตย์ตกดินและกลับขึ้นมาอีกครั้งเพื่อจะปล้นจึงพบว่าหมู่บ้านกระซ้าขาวหายไป มีเพียงป่าไม้ กลุ่มโจรได้พยายามเดินหาหมู่บ้านแต่หาอย่างไรก็ไม่พบ ทำให้กลุ่มโจรต้องเลิกล้มความตั้งใจและจากไป เหตุที่เป็นเช่นนี้ก็เพราะการปกป้องคุ้มครองจากพระเจ้าแป๊ะกง ที่มีศาลตั้งอยู่กลางหมู่บ้าน ไม่มีผู้ใดทราบประวัติการก่อสร้างศาลเจ้าพ่อแป๊ะกงหลังเก่า ต่อมาเจ้าพ่อแป๊ะกงได้ลงประทับทรงกับคนที่น่านับถือในหมู่บ้าน ท่านได้กล่าวถึงเครื่องเซ่นไหว้คือขนมกงและได้บอกสูตรการทำขนมกงมาตั้งแต่ครั้งนั้น จวบจนปัจจุบัน ชาวบ้านกระซ้าขาวได้สืบทอดสูตรการทำขนมกงนั้นต่อกันมายาวนานและจะทำเพียงปีละ 1 ครั้ง ในช่วงเทศกาลงานประจำปี ศาลเจ้าพ่อแป๊ะกงไต้ตี่ ชาวบ้านจะทำขนมกงทุกบ้านและทำในปริมาณมาก หลังจากไหว้แล้วก็จะแจกจ่ายให้กับญาติพี่น้อง จากขนมกงที่รู้จักกันเพียงชาวบ้านกระซ้าขาวจึงได้เริ่มเป็นที่รู้จักกับคนนอกหมู่บ้าน แต่นอกเหนือจากช่วงเทศกาลก็ยังไม่มีการทำขนมกง

ปัจจุบันขนมกงได้รับการยอมรับจากคนทั่วไปที่ได้ลองทานว่าเป็นขนมทีอร่อยและหาทานได้ยาก ดังนั้นการทำขนมกงนอกช่วงเทศกาลจึงเริ่มขึ้นเมื่อผู้นอกมาสั่งทำ เพื่อนำไปเป็นของฝากหรือเป็นของหวานในงานมงคลรวมทั้งทำออกมาจำหน่ายและได้ขึ้นทะเบียนเป็นสินค้าโอทอปเพื่อให้ขนมกงเป็นที่รู้จักอย่างแพร่หลายและเป็นการสืบทอดการทำขนมกงที่มีสูตรแบบดั่งเดิมต่อไป