Grok Bot นำ AI ช่วยตรวจจับและจัดการอุบัติการณ์ระบบอัตโนมัติ

โดย Chris Bowie และ Isaac Hopkinson

เมื่อเกิดอุบัติการณ์กับผลิตภัณฑ์ (product incident) คิวงานสนับสนุนลูกค้า (support queue) มักจะเป็นด่านแรกที่ส่งสัญญาณความผิดปกติ โดยลูกค้าจะเริ่มรายงานปัญหาที่คล้ายกันเข้ามา บางครั้งอาจเกิดขึ้นก่อนที่ระบบแจ้งเตือนของฝ่ายวิศวกรรมจะทำงาน หรือก่อนที่จะมีการประกาศสถานะอุบัติการณ์เสียด้วยซ้ำ

ในระหว่างที่ปัญหาดำเนินไป รายงานจะยังคงถูกส่งเข้ามาอย่างต่อเนื่อง ซึ่งในช่วงแรกฝ่ายสนับสนุนอาจยังไม่มีข้อมูลเพียงพอที่จะตอบลูกค้าได้อย่างมั่นใจ และเมื่อปัญหาได้รับการแก้ไขแล้ว อาจมีลูกค้าหลายร้อยหรือหลายพันรายที่ยังรอการตอบกลับ ทีมงานจึงต้องคอยติดตามสถานะและตรวจสอบให้แน่ใจว่าลูกค้าทุกคนได้รับข้อมูลที่ถูกต้องเมื่อสถานการณ์คลี่คลาย

เราจึงนำ Grok Bot มาใช้งานในฐานะเพื่อนร่วมงาน AI (AI teammates) เพื่อดูแลงานด้านปฏิบัติการ โดยเฉพาะเวิร์กโฟลว์ที่ทำซ้ำๆ ซึ่งมักเป็นช่องว่างระหว่างการทำงานของบุคลากรและระบบ ตามที่ระบุไว้ใน blog ล่าสุด ทีมสนับสนุนลูกค้าของ SpaceXSI ได้ใช้ Support Bot ใน Grok Bot เพื่อบริหารจัดการการสื่อสารกับลูกค้าเป็นหลัก

ล่าสุดเราได้เพิ่มเพื่อนร่วมงาน AI อีกสองรายสำหรับจัดการด้านอุบัติการณ์โดยเฉพาะ รายแรกคือ IncidentWatch ทำหน้าที่เฝ้าติดตามคิวงานเพื่อหาการพุ่งสูงขึ้นของตั๋วที่มีลักษณะคล้ายกันและแจ้งเตือนทีมเมื่อพบสิ่งผิดปกติ รายที่สองคือ IncidentSweep ทำหน้าที่จัดการในขั้นตอนสุดท้าย โดยจะระบุตั๋วที่ได้รับผลกระทบและปิดงานในชุดข้อมูลที่ได้รับการอนุมัติ

ตัวอย่างความสำเร็จเมื่อวันที่ 18 กันยายนที่ผ่านมา IncidentSweep สามารถเคลียร์ตั๋วไปได้ 204 ใบภายในเวลาเพียง 10 นาที ภายใต้การตรวจสอบและอนุมัติจากวิศวกรฝ่ายสนับสนุน ซึ่งหากใช้แรงงานคนตามปกติอาจต้องใช้เวลานานหลายชั่วโมง หรือหากใช้ระบบตอบกลับอัตโนมัติแบบกลุ่ม (bulk macro) ก็จะควบคุมความแม่นยำของผู้รับข้อความได้ยากกว่ามาก

IncidentWatch ถูกสร้างขึ้นเพื่อตรวจจับสัญญาณเริ่มต้นของปัญหา โดยจะทำการตรวจสอบตั๋วทุกๆ 5 นาทีเพื่อวิเคราะห์แนวโน้มในช่วง 15 นาทีที่ผ่านมา หากพบรูปแบบที่ผิดปกติและไม่ตรงกับอุบัติการณ์ที่ทราบอยู่แล้ว ระบบจะแจ้งเตือนวิศวกรฝ่ายสนับสนุนที่เข้าเวรทันที พร้อมระบุจำนวนตั๋วและตัวอย่างปัญหาเพื่อนำไปตรวจสอบต่อ

เมื่อทีมงานยืนยันอุบัติการณ์และโพสต์ลงหน้าสถานะสาธารณะ (public status page) แล้ว Support Bot จะทำหน้าที่โต้ตอบกับลูกค้าที่ส่งตั๋วเข้ามา โดยตรวจสอบข้อมูลเทียบกับอุบัติการณ์และคอยอัปเดตความคืบหน้าให้ลูกค้าทราบอย่างต่อเนื่อง

สำหรับ IncidentSweep ถูกออกแบบมาเพื่อแก้ปัญหาการเคลียร์ตั๋วที่ค้างอยู่หลังจากจบอุบัติการณ์ ซึ่งปกติมีเพียงสองทางเลือกคือการตอบทีละใบที่ล่าช้า หรือการตอบแบบกลุ่มที่เสี่ยงต่อการส่งข้อความหาผิดคน โดย IncidentSweep จะรวมความละเอียดแม่นยำและความรวดเร็วเข้าด้วยกัน

ในการใช้งาน วิศวกรจะกำหนดให้ IncidentSweep ค้นหาตั๋วที่เข้าข่ายและคัดตั๋วที่ไม่เกี่ยวข้องออกไป โดยก่อนการส่งข้อความ ระบบจะแสดงชุดข้อมูลให้วิศวกรสุ่มตรวจและแก้ไขก่อนอนุมัติ เมื่อได้รับอนุมัติแล้ว IncidentSweep จะทยอยส่งข้อความและบันทึกการทำงานทีละขั้นตอน หากพบความผิดปกติระบบจะหยุดทำงานและรายงานทันทีเพื่อความปลอดภัย

Grok Bot นำเสนอแนวทางใหม่ในการร่วมงานกับ AI แทนที่จะเป็นเพียงเครื่องมือช่วยงานรายชิ้น แต่ทีมสามารถสร้างเพื่อนร่วมงาน AI ที่รับผิดชอบเวิร์กโฟลว์ทั้งหมดได้ด้วยตัวเอง ซึ่งงานสนับสนุนลูกค้าเป็นจุดเริ่มต้นที่ชัดเจนสำหรับโมเดลนี้ และเรากำลังมองหาโอกาสนำ AI ไปใช้กับเวิร์กโฟลว์อื่นๆ ทั่วทั้ง SpaceXSI ต่อไป