ผลวิจัยชี้ผู้เชี่ยวชาญ AI ประเมินความเร็วในการพัฒนาต่ำเกินจริง

AI พัฒนาไปเร็วแค่ไหน? คำถามนี้มักจะถูกส่งไปยังเหล่าผู้เชี่ยวชาญในมหาวิทยาลัยชั้นนำ นักวิจัย AI ที่ถูกอ้างอิงผลงานอย่างกว้างขวาง และเหล่านักเศรษฐศาสตร์ผู้เจนจัด

กระนั้นก็ตาม ผู้เชี่ยวชาญกลุ่มเดียวกันนี้กลับประเมินความก้าวหน้าล่าสุดในด้านเกณฑ์มาตรฐาน (benchmarks) และตัวชี้วัดการนำมาใช้งานบางอย่างต่ำไปอย่างมีนัยสำคัญ ตามรายงานฉบับชั่วคราวจาก Forecasting Research Institute (FRI)

ตั้งแต่กลางปี 2022 FRI ได้รวบรวมการคาดการณ์ความก้าวหน้าของ AI ผ่านการศึกษาและโครงการต่างๆ โดยกลุ่มตัวอย่างประกอบด้วยผู้เชี่ยวชาญ 339 คน แบ่งเป็นนักวิทยาศาสตร์คอมพิวเตอร์ 76 คน, ผู้เชี่ยวชาญในอุตสาหกรรม 76 คน, นักเศรษฐศาสตร์ 68 คน และผู้เชี่ยวชาญด้านนโยบาย AI 119 คน

ในกลุ่มนักวิทยาศาสตร์คอมพิวเตอร์ประกอบด้วยศาสตราจารย์ 30 ท่านจากสถาบันการศึกษา 20 อันดับแรก และนักเขียนด้าน AI ที่ได้รับการอ้างอิงสูงสุด นอกจากนี้ยังรวมถึง "นักพยากรณ์ระดับสูง" (superforecasters) ซึ่งเป็นผู้ที่มีความเชี่ยวชาญทั่วไปที่มีประวัติการทำนายที่แม่นยำสูงและได้รับการพิสูจน์แล้ว

AI บรรลุหลักไมล์สำคัญล่วงหน้าหลายปีจากการคาดการณ์

ช่องว่างที่กว้างที่สุดเกี่ยวข้องกับคณิตศาสตร์ โดย AI สามารถบรรลุระดับเหรียญทองในการแข่งขันคณิตศาสตร์โอลิมปิกระหว่างประเทศในเดือนกรกฎาคม 2025 ซึ่งเร็วกว่าค่ามัธยฐานที่ผู้เชี่ยวชาญคาดการณ์ไว้ถึง 5 ปี และเร็วกว่าการทำนายของนักพยากรณ์ระดับสูงถึง 10 ปี แม้การคาดการณ์เหล่านั้นจะรวบรวมในปี 2022 ก่อนการเปิดตัว ChatGPT แต่ FRI ระบุว่าแนวโน้มความก้าวหน้าที่รวดเร็วยังคงดำเนินต่อเนื่องแม้หลังจากนั้น

นอกจากนี้ AI อาจจะแก้ปัญหา Millennium Prize Problem ได้แล้ว แม้จะยังไม่ชัดเจนว่าวิธีแก้ปัญหานั้นตรงตามเกณฑ์การประเมินหรือไม่ โดยในการสำรวจช่วงปลายปี 2025 ผู้เชี่ยวชาญให้โอกาสที่จะมีวิธีแก้ปัญหาดังกล่าวภายในสิ้นปี 2027 ไว้เพียงร้อยละ 10 ขณะที่นักพยากรณ์ระดับสูงให้ไว้เพียงร้อยละ 5.4 เท่านั้น

ในด้านไวรัสวิทยา ผู้เชี่ยวชาญคาดว่าโมเดล AI จะไม่สามารถเทียบชั้นทีมวิกฤตไวรัสวิทยาชั้นนำได้จนกว่าจะถึงปี 2030 แต่ FRI กล่าวว่าสิ่งนั้นน่าจะเกิดขึ้นแล้วตั้งแต่ช่วงต้นเดือนเมษายน 2025 เช่นเดียวกับเกณฑ์มาตรฐานด้านความมั่นคงปลอดภัยไซเบอร์ที่แสดงให้เห็นการประเมินความสามารถต่ำเกินไปในลักษณะเดียวกัน

การคาดการณ์ทางเศรษฐกิจก็ระมัดระวังเกินไปมากเช่นกัน โดยผู้เชี่ยวชาญประเมินรายได้ประจำปี (ARR) สูงสุดของบริษัท AI ณ สิ้นปี 2026 ไว้ที่ไม่เกิน 2.5 หมื่นล้านดอลลาร์ แต่ FRI อ้างถึงตัวเลขรายได้ประมาณ 1 แสนล้านดอลลาร์สำหรับ Anthropic ในเดือนกันยายน 2026 ซึ่งเป็นตัวเลขที่น่าจะถึงเป้าหมายแล้วในปัจจุบัน

ผลกระทบในโลกแห่งความเป็นจริงนั้นคาดเดาได้ยากกว่า

อย่างไรก็ตาม ไม่ใช่ทุกการคาดการณ์จะต่ำกว่าความเป็นจริง ในการศึกษาเรื่องความปลอดภัยทางชีวภาพ ผู้เชี่ยวชาญคาดว่าผู้ใช้โมเดลภาษาจะสามารถทำงานในห้องแล็บสำเร็จสูงถึงร้อยละ 40 แต่ผลการทดลองจริงกลับมีเพียงร้อยละ 5.2 เท่านั้น ซึ่งแทบไม่ต่างจากการใช้อินเทอร์เน็ตเพียงอย่างเดียว แสดงให้เห็นว่าโมเดลภาษาในปัจจุบันยังไม่ได้สร้างความแตกต่างที่วัดผลได้ในด้านนี้

สำหรับเทคโนโลยีรถยนต์ไร้คนขับ ผู้เชี่ยวชาญอาจคาดการณ์เกินจริงไปเล็กน้อย โดยประเมินส่วนแบ่งการเดินทางด้วยรถรับส่งอัตโนมัติในสหรัฐฯ ปี 2027 ไว้ที่ร้อยละ 7.3 ขณะที่การคาดการณ์โดย LLM ระบุไว้เพียงร้อยละ 2.5 ทั้งนี้ FRI ชี้ว่าการเติบโตทางเศรษฐกิจและการจ้างงานยังไม่สามารถตัดสินได้อย่างน่าเชื่อถือในขณะนี้

ในขณะเดียวกัน ผู้ตอบแบบสอบถามเริ่มปรับเพิ่มความคาดหวังของตนเอง โดยความน่าจะเป็นที่ AI จะกลายเป็น "เทคโนโลยีแห่งศตวรรษ" เพิ่มขึ้นจากประมาณร้อยละ 30 เป็นร้อยละ 35-36 ภายในเวลาเพียง 9 เดือน สะท้อนถึงการรับรู้ถึงศักยภาพที่รวดเร็วขึ้น

FRI เพิ่มวิธีการติดตามผลเพื่อให้ก้าวทันความเร็วของ AI

ในอนาคต FRI จะเน้นศึกษาผู้ตอบแบบสอบถามที่คาดการณ์ความก้าวหน้าของ AI ในระยะยาวถึงปี 2040 และจะเผยแพร่การคาดการณ์ของ LLM ที่อัปเดตต่อเนื่องควบคู่ไปกับการคาดการณ์ของมนุษย์ ข้อมูลจาก ForecastBench ระบุว่า AI บางโมเดลสามารถทำนายผลได้แม่นยำเทียบเท่านักพยากรณ์ระดับสูงในบางหัวข้อแล้ว

อย่างไรก็ตาม FRI ตั้งข้อสังเกตถึงข้อจำกัดว่า การประเมินต่ำเกินไปจะเห็นชัดทันทีที่ความจริงก้าวข้ามคำทำนาย แต่การประเมินสูงเกินไปจะเห็นชัดเมื่อเวลาผ่านพ้นกำหนดไปแล้ว รายงานนี้จึงมีแนวโน้มที่จะพบกรณีที่นักพยากรณ์ระมัดระวังมากเกินไปได้ง่ายกว่า รวมถึงการประเมินบางส่วนยังพึ่งพา LLM ที่มีข้อมูลอัปเดตมากกว่านักพยากรณ์ในอดีต