การขยายขนาด MDM สำหรับธุรกิจเช่า: สิ่งที่เกิดขึ้นจริงในการปรับปรุงฐานข้อมูลครั้งหนึ่ง
แรงกดดันจากการเติบโตของแพลตฟอร์ม MDM ไม่ได้เริ่มจากจำนวนผู้เข้าชมหน้าเว็บ แต่ปรากฏที่ฐานข้อมูลเป็นหลัก ได้แก่ การอ่านและเขียนพร้อมกัน Query ที่ช้า การใช้ connection pool อัตราการใช้ดัชนี การรอ lock ประสิทธิภาพ cache คิวงานที่ค้าง และความล่าช้าของข้อมูลสถิติ การปรับปรุงครั้งหนึ่งของ MDM.Plus จึงเป็นการปรับปรุงเชิงระบบตั้งแต่เส้นทางธุรกิจไปจนถึงสถาปัตยกรรมฐานข้อมูล ไม่ใช่การขยายเซิร์ฟเวอร์เพียงอย่างเดียว
ข้อมูลสถิติที่กล่าวถึงไม่ได้ถูกเปิดเผยเป็นตัวเลขเฉพาะ แต่สะท้อนถึงแนวโน้มที่ทีมปฏิบัติงานตรวจพบระหว่างการให้บริการ
จุดที่แรงกดดันปรากฏก่อน
ผู้ค้าแต่ละรายสร้างงานอย่างต่อเนื่อง ได้แก่ การเพิ่มอุปกรณ์เป็นชุด การสอบถามสถานะ การกรองอุปกรณ์เกินกำหนด การล็อกและปลดล็อก การตรวจสอบนโยบาย การส่งออกข้อมูล และหน้าสรุป ขณะเดียวกันอุปกรณ์ก็เขียนข้อมูลไม่หยุด เช่น เหตุการณ์ออนไลน์และออฟไลน์ ผลการทำตามนโยบาย ใบรับรองคำสั่ง การปรับข้อมูล รายการความเสี่ยง และบันทึกเหตุการณ์ รูปแบบหลักมีสองอย่าง คือการอ่านและเขียนเกิดขึ้นพร้อมกัน และข้อมูลเติบโตอย่างรวดเร็ว สัญญาณเริ่มต้นไม่ใช่ระบบล่ม แต่เป็น Query ที่ช้าขึ้น CPU ของฐานข้อมูลสูงขึ้น อัตรา buffer pool แกว่ง pool เชื่อมต่อเต็มขึ้น ค่า P95 และ P99 ยาวขึ้น การกรองช่วงเวลาเร่งด่วนช้าลง การเขียนสถานะดีเลย์ และงานส่งออกกระทบการค้นหาปกติ
การหาต้นตอของปัญหา
ทีมเริ่มจากบันทึก Query ที่ช้า โดยพิจารณาเวลาในการทำงาน จำนวนแถวที่สแกนและส่งกลับ การใช้ดัชนี ตารางชั่วคราว filesort การสแกนทั้งตาราง Query ที่ซ้ำบ่อย การแบ่งหน้าแบบลึก และการเชื่อมตารางขนาดใหญ่ แรงกดดันไม่ได้มาจากคำสั่งเดียว แต่มาจากสถานการณ์ที่เกิดบ่อยซ้อนทับกัน โดยเฉพาะรายการอุปกรณ์ที่รวมรหัสผู้ค้า หมายเลข SN เบอร์ลูกค้า กลุ่ม สถานะออนไลน์ สถานะล็อก สถานะเกินกำหนด และช่วงเวลาหลายค่า ดัชนีแบบคอลัมน์เดียวที่เพียงพอตอนข้อมูลน้อยเริ่มล้มเหลวเมื่อผู้ค้ารายหนึ่งมีอุปกรณ์หลายพันเครื่อง
การวิเคราะห์นี้ช่วยแยกแยะระหว่างปัญหาที่เกิดจากปริมาณงานจริงกับปัญหาที่เกิดจากการออกแบบคำสั่งที่ไม่เหมาะสม
การปรับแผนการทำงานและดัชนี
การเพิ่มดัชนีเพียงอย่างเดียวไม่เพียงพอ เพราะดัชนีที่ไม่เหมาะสมอาจช่วยบาง Query แต่ทำให้การเขียนช้าลง ทีมจึงใช้ EXPLAIN เพื่อตรวจสอบว่า type เปลี่ยนจาก ALL เป็น range, ref หรือ const แล้วหรือไม่ เลือกดัชนีที่คาดหวังหรือไม่ จำนวนแถวที่ประเมินลดลงหรือไม่ และมี Using temporary หรือ Using filesort หรือไม่ จากนั้นออกแบบดัชนีรวมใหม่ตามรูปแบบ Query จริง เช่น ผู้ค้าและสถานะ ผู้ค้าและสถานะล็อก ผู้ค้าและวันครบกำหนด ผู้ค้าและเวลารายงานล่าสุด ผู้ค้ากลุ่มและสถานะ และผู้ค้ากับเวลาลงทะเบียน โดยหลีกเลี่ยงการเพิ่มดัชนีมากเกินไป เพราะการเขียนสถานะอุปกรณ์มีจำนวนมาก ทุกดัชนีเพิ่มต้นทุนการเขียน เป้าหมายคือสมดุลระหว่างการอ่านและการเขียน
- ลดการแบ่งหน้าแบบลึก ปรับดัชนีการเรียง ใช้ cursor paging ในบางกรณี ส่งเฉพาะฟิลด์ที่จำเป็น โหลดรายละเอียดตามต้องการ และแยกงานส่งออกออกจากการแบ่งหน้าปกติ
- แยกข้อมูลร้อนและเย็น โดยเก็บสถานะปัจจุบันในตารางที่เข้าถึงบ่อย จัดเก็บประวัติตามช่วงเวลา แบ่งระดับบันทึก และนำรายงานออกจากตารางหลัก
- กำหนดนโยบาย cache ตามประเภทข้อมูล เช่น TTL ยาวสำหรับการตั้งค่า TTL สั้นสำหรับหน้าสรุป cache พร้อมรีเฟรชสำหรับสถานะสรุป การยกเลิก cache เมื่อนโยบายเปลี่ยน และการป้องกัน cache penetration, breakdown และ avalanche
- ย้ายงานที่ไม่ต้องการผลทันทีไปยังคิว เช่น บันทึก สถิติ การคำนวณกฎความเสี่ยง การแจ้งเตือน รายงาน และการส่งออกขนาดใหญ่
- เปลี่ยนสถิติจากการนับแบบเรียลไทม์เป็นการรวมตามช่วงเวลา การอัปเดตจากเหตุการณ์ และการคำนวณล่วงหน้าตามผู้ค้า
- ทำให้งานส่งออกทำงานเบื้องหลัง เป็นชุด และจำกัดความถี่
- ยกระดับการตรวจสอบจากการถามว่าระบบยังทำงานอยู่หรือไม่ เป็นการถามว่าระบบมีแนวโน้มที่มีสุขภาพดีหรือไม่ โดยติดตาม QPS, TPS, Query ช้า, P95/P99, การเชื่อมต่อ, buffer pool, disk I/O, ความล่าช้าของ replica, การรอ lock, deadlock, คิวที่ค้าง, อัตรา cache และความล่าช้าของ callback
จำนวน Query ช้าและแถวที่สแกนลดลง CPU และ pool มีเสถียรภาพขึ้น รายการอุปกรณ์ การกรอง และหน้าสรุปตอบสนองได้คาดเดาได้มากขึ้น คุณค่าของ SaaS คือการตรวจพบแนวโน้มก่อนที่จะกลายเป็นเหตุขัดข้อง และการนำการปรับปรุงไปใช้กับผู้ใช้ทุกคน ขอบเขตผลลัพธ์ขึ้นอยู่กับข้อกำหนดผลิตภัณฑ์และสัญญาบริการที่ตกลงกัน
สรุปผลที่ได้จากการปรับปรุง
- จำนวน Query ช้าลดลง
- แถวที่สแกนต่อคำสั่งลดลง
- อัตราการใช้ดัชนีดีขึ้น
- การใช้งาน CPU ในช่วงเร่งด่วนเสถียรขึ้น
- รายการอุปกรณ์ตอบสนองเร็วขึ้น
- การกรองอุปกรณ์เกินกำหนดเสถียรขึ้น
- หน้าสรุปโหลดได้เร็วขึ้น
- งานส่งออกขนาดใหญ่กระทบระบบน้อยลง
