SymptomAI: งานวิจัยตัวแทน AI สนทนา เพื่อยกระดับการประเมินอาการป่วยเบื้องต้นในชีวิตประจำวัน

แม้ว่า การวินิจฉัยทางคลินิกในสัดส่วนที่สูงมาก จะทำได้ผ่านการสัมภาษณ์เพียงอย่างเดียว แต่ในปัจจุบันการเข้าถึงแพทย์เพื่อประเมินอาการยังติดอุปสรรคทั้งด้านค่าใช้จ่ายและระยะทาง

ปัจจุบันโมเดลภาษา (LMs) ได้ แสดงให้เห็นถึงความสามารถในการประเมินการวินิจฉัยแยกโรค (differential diagnosis) ที่แข็งแกร่ง อย่างไรก็ตาม การทดสอบส่วนใหญ่มักใช้ข้อมูลจำลองที่ไม่สะท้อนความหลากหลายของผู้ป่วยในโลกความเป็นจริง เช่น ระดับความรู้ทางการแพทย์ที่แตกต่างกันหรือการสื่อสารที่ไม่ชัดเจน เพื่อปิดช่องว่างนี้ ทีมวิจัยจึงได้พัฒนาและศึกษาเปรียบเทียบตัวแทน AI ต้นแบบในชื่อ "SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment" ผ่านการศึกษากับผู้เข้าร่วมกว่า 13,917 ราย โดยให้โต้ตอบกับหนึ่งในห้าตัวแทน SymptomAI ที่พัฒนาจาก Gemini Flash 2.0 เพื่อทดสอบประสิทธิภาพการวินิจฉัยเทียบกับการพบแพทย์จริง

นอกจากประเมินความแม่นยำของการวินิจฉัยแยกโรค (DDx) แล้ว ทีมวิจัยยังนำผลที่ได้ไปเปรียบเทียบกับสัญญาณทางชีวภาพ (biosignals) จากอุปกรณ์สวมใส่ Fitbit ของผู้เข้าร่วม เพื่อดูความสอดคล้องระหว่างอาการที่รายงานกับการตอบสนองทางสรีรวิทยาของร่างกาย

สำหรับการวิจัยนี้ เราได้นำชุดตัวแทน AI สนทนามาใช้สำหรับการสัมภาษณ์ผู้ป่วยแบบครบวงจรและการประเมินการวินิจฉัยแยกโรค ผู้เข้าร่วมสามารถสนทนากับตัวแทนเกี่ยวกับอาการของพวกเขา รับรายการการวินิจฉัยแยกโรคที่เป็นไปได้ และป้อนการวินิจฉัยในภายหลัง

วิธีการทำงาน

ผู้เข้าร่วมวิจัยจะถูปสุ่มให้คุยกับ SymptomAI ที่มีระดับความยืดหยุ่นต่างกันในการซักประวัติ เมื่อจบการสนทนา AI จะให้รายการ การวินิจฉัยแยกโรค (DDx) พร้อมคำแนะนำเบื้องต้น จากนั้นอีก 2 สัปดาห์ ผู้เข้าร่วมจะรายงานผลการวินิจฉัยจริงจากแพทย์เพื่อนำมาเปรียบเทียบ

ในการประเมินความแม่นยำ คณะกรรมการแพทย์ผู้เชี่ยวชาญจะทำการตรวจสอบบันทึกการสนทนาและจัดอันดับ DDx จากทั้ง AI และจากแพทย์ท่านอื่นในรูปแบบ การประเมินแบบไม่เปิดเผยข้อมูล (blinded fashion) เพื่อความเป็นกลาง

ผลลัพธ์หลัก

ความพึงพอใจของผู้เชี่ยวชาญทางคลินิกต่อผล DDx จาก SymptomAI

ผลการศึกษาพบว่าแพทย์ชื่นชอบผล DDx ที่สร้างโดย SymptomAI มากกว่าที่จัดทำโดยแพทย์ท่านอื่นในกรณีมากกว่า 50% ซึ่งสะท้อนว่าคุณภาพการประเมินของ AI มีความใกล้เคียงหรือสูงกว่าการประเมินโดยมนุษย์ในบางแง่มุม

DDx ที่สร้างโดย SymptomAI มีแนวโน้มที่จะถูกจัดอันดับให้เป็น DDx ที่ดีที่สุดในด้านคุณภาพโดยรวมโดยผู้ประเมินทางคลินิกของเรา

ผู้เชี่ยวชาญทางคลินิกพบว่า DDx ของ SymptomAI มีความแม่นยำมากกว่า

เมื่อวัดผลด้วยค่า Top-5 Accuracy (การวินิจฉัยจริงปรากฏอยู่ใน 1 ใน 5 อันดับแรกที่ AI คาดการณ์) พบว่า DDx จาก SymptomAI มีความแม่นยำสอดคล้องกับผลการตรวจจริงจากผู้ให้บริการทางการแพทย์มากกว่าชุดข้อมูลที่สรุปโดยแพทย์จริง

DDx ที่สร้างโดย SymptomAI มีแนวโน้มที่จะมีการวินิจฉัยที่ผู้ป่วยรายงานเองซึ่งได้รับจากผู้ให้บริการด้านสุขภาพรวมอยู่ด้วย

การดึงข้อมูลเพิ่มเติมช่วยเพิ่มประสิทธิภาพ

ทีมวิจัยพบว่ากลยุทธ์การถามคำถามเชิงรุก (Dynamic Prompting) ส่งผลดีต่อความแม่นยำอย่างมาก เมื่อเทียบกับโมเดลพื้นฐาน (Base) ที่ให้ผู้ใช้เป็นฝ่ายเล่าอาการเพียงอย่างเดียว การที่ AI ถามคำถามติดตามผลอย่างกระตือรือล้นช่วยให้ได้ข้อมูลที่สำคัญต่อการวินิจฉัยมากขึ้น

ความแม่นยำของ Symptom AI และแพทย์ตามกลุ่มการทดลองของ SymptomAI

จำนวนคำทั้งหมดจากผู้ใช้ตามกลุ่มการทดลองของ SymptomAI

ประสิทธิภาพของ SymptomAI ในตัวอย่างที่มีความเชื่อมั่นต่ำ

สิ่งที่น่าสนใจคือ SymptomAI ทำผลงานได้ดีเป็นพิเศษในกรณีที่แพทย์ผู้ประเมินมีความเชื่อมั่นในผลวินิจฉัยของตนเองต่ำ ชี้ให้เห็นว่า AI สามารถเป็นเครื่องมือช่วยตัดสินใจในเคสที่มีความซับซ้อนหรือคลุมเครือได้ดี

ความแม่นยำระดับ Top-5 ที่กำหนดโดยแพทย์ให้กับ SymptomAI และ DDx พื้นฐานที่สร้างโดยแพทย์ โดยแบ่งตามความระดัมความเชื่อมั่นของแพทย์ที่มีต่อ DDx ของตนเอง

การวินิจฉัยจาก SymptomAI สอดคล้องกับสัญญาณทางชีวภาพ

การใช้ SymptomAI ยังช่วยเปิดโอกาสในการวิเคราะห์สุขภาพระดับประชากร โดยทีมวิจัยพบว่ากลุ่มที่ AI วินิจฉัยว่ามีการติดเชื้อทางเดินหายใจ มีการเปลี่ยนแปลงทางสรีรวิทยาจากข้อมูล Fitbit เช่น อัตราการเต้นของหัวใจและอุณหภูมิผิวหนัง สอดคล้องกับช่วงเวลาที่เริ่มป่วยจริง

การแยกแยะนี้สามารถตัดกลุ่มอาการที่ไม่ใช่การติดเชื้อ เช่น โรคจมูกอักเสบจากภูมิแพ้ หรือ โรคปอดอุดกั้นเรื้อรัง ออกได้อย่างมีประสิทธิภาพ ซึ่งทำหน้าที่เป็นหลักฐานยืนยันความแม่นยำของรายงานอาการจากผู้ป่วย

สัญญาณทางชีวภาพจากอุปกรณ์สวมใส่ในช่วงวันที่นำไปสู่การสนทนาของ SymptomAI เมื่อเทียบกับค่าเฉลี่ยในอดีตจากช่วงพื้นฐานตั้งแต่วันที่ -30 ถึง -15 สำหรับกลุ่มที่ติดเชื้อ (สีแดง) และกลุ่มพื้นฐาน (สีเทา) กลุ่มที่ติดเชื้อรวมถึงผู้เข้าร่วมที่ SymptomAI วินิจฉัยว่ามีการติดเชื้อทางเดินหายใจ ในขณะที่กลุ่มพื้นฐานรวมผู้เข้าร่วมรายอื่นทั้งหมดในชุดข้อมูลของเรา วันที่ 0 หมายถึงวันที่สนทนากับ SymptomAI

ประโยชน์ควบคู่ไปกับสัญญาณทางชีวภาพ

การผสาน SymptomAI เข้ากับข้อมูลดิจิทัลช่วยให้ระบุฟีโนไทป์ของโรคได้แม่นยำขึ้น การวิเคราะห์พบการเปลี่ยนแปลงของระบบหายใจและการนอนหลับในช่วงก่อนการสนทนา ความสามารถในการบันทึกข้อมูลแบบเรียลไทม์ในขณะที่อาการยังสดใหม่ จึงเป็นจุดแข็งที่เหนือกว่าการนัดพบแพทย์แบบเดิมที่มีความล่าช้า

ข้อจำกัด

แม้ผลการวิจัยจะน่าประทับใจ แต่ SymptomAI ยังเป็นการศึกษาเชิงสำรวจ การประเมินอาการเป็นเพียงภาพรวม ณ ขณะนั้น ซึ่งอาการอาจเปลี่ยนแปลงได้ตามเวลา งานในอนาคตจึงต้องมุ่งเน้นไปที่การติดตามโรคเฉพาะเจาะจงในระยะยาวมากขึ้น

ข้อจำกัดที่สำคัญอีกประการคือ AI ยังขาดความสามารถในการสังเกตภาษากาย การประเมินทางสายตา หรือบริบทความสัมพันธ์ส่วนบุคคลเหมือนที่แพทย์ทำได้ นอกจากนี้ งานวิจัยล่าสุด ยังระบุว่าแม้ AI จะรวบรวมข้อมูลได้ละเอียด แต่การวินิจฉัยในขั้นสุดท้ายยังจำเป็นต้องอาศัยการพิจารณาจากแพทย์ผู้เชี่ยวชาญร่วมด้วย โดยสรุป SymptomAI แสดงให้เห็นถึงศักยภาพของ AI สนทนาในการเป็นเครื่องมือประเมินสุขภาพเบื้องต้นที่เข้าถึงง่ายและแม่นยำ ซึ่งจะช่วยยกระดับการวิเคราะห์ข้อมูลสาธารณสุขในวงกว้างต่อไปในอนาคต

กิตติกรรมประกาศ

ผลงานนี้เป็นผลจากผลงานในสัดส่วนที่เท่าๆ กันจาก Joe Breda, Jake Sunshine และ Daniel McDuff เราขอขอบคุณผู้เขียนร่วมและผู้ร่วมงานจาก Google Research และ Google DeepMind สำหรับการมีส่วนร่วมในงานนี้