จิตใจของสิ่งแปลกปลอม: ความท้าทายในการควบคุม AI ที่ฉลาดล้ำเกินมนุษย์

ในช่วงกลางปี 2023 ภายใต้โปรเจกต์วิจัย “RLSlow” เราได้เห็นผลลัพธ์แรกที่สร้างความมั่นใจว่าการขยายขนาด (scale) การฝึกฝนโมเดลการให้เหตุผล (reasoning models) นั้นเป็นไปได้จริง สิ่งนี้ช่วยปลดล็อกให้โมเดลที่ผ่านการฝึกฝนเบื้องต้น (pretrained models) สามารถสร้างลำดับความคิด (chains of thought) ของตนเองได้ ในคืนนั้นที่ออฟฟิศ ผมและ Szymon ไม่ได้คำนึงถึงตัวเลขเกณฑ์มาตรฐานที่น่าทึ่งหรือผลิตภัณฑ์ใหม่ แต่กลับตระหนักถึงข้อเท็จจริงที่น่าตื่นตระหนกว่า เรากำลังจะได้เห็นเครื่องจักรที่ฉลาดกว่ามนุษย์อย่างมีนัยสำคัญในช่วงชีวิตของเรา และเราเริ่มเห็นรูปร่างของมันชัดเจนขึ้นเรื่อยๆ จนต้องตั้งคำถามว่าจะเตือนโลกถึงความสำคัญของเรื่องนี้อย่างไร

เพียงสามปีต่อมา โมเดลภาษาที่ให้เหตุผลได้กลายเป็นฟันเฟืองสำคัญของเศรษฐกิจและเริ่มขยายขอบเขตของวิทยาศาสตร์ พวกมันสามารถควบคุมคอมพิวเตอร์ ทำงานร่วมกับมนุษย์ หรือแม้แต่ประสานงานกันเองเพื่อดำเนินโปรเจกต์วิจัย ขณะเดียวกันก็นำมาซึ่งการเปลี่ยนแปลงในด้านความปลอดภัยทางคอมพิวเตอร์และอันตรายรูปแบบใหม่ที่ชัดเจนขึ้น

จากผลลัพธ์ภายในออฟฟิศ ผมคาดการณ์ว่าความเร็วของความก้าวหน้านี้จะดำเนินไปจนถึงจุดที่เกิดการพัฒนาตัวเองแบบวนซ้ำ (recursive self-improvement) หาก AI ยังเติบโตในทิศทางปัจจุบัน ระบบที่เราจะได้เห็นในอีกไม่กี่ปีข้างหน้าจะมีการก้าวกระโดดของขีดความสามารถที่เท่าเดิมหรือมากกว่า และจะกลายเป็นตัวขับเคลื่อนการพัฒนาของพวกมันเองมากขึ้นเรื่อยๆ

นี่คือช่วงเวลาที่ต้องใช้ความระมัดระวังสูงสุด ผมกังวลว่าโลกอาจยังไม่พร้อมรับมือกับผลกระทบจากการเพิ่มขึ้นของสติปัญญาเครื่องจักรที่รวดเร็วและต่อเนื่อง แม้ OpenAI จะยังคงค้นหาแนวทางเทคนิคสำหรับการปรับจูน (alignment) และการตรวจสอบ (monitoring) เพื่อสร้างระบบป้องกัน รวมถึงพร้อมระงับการขยายขนาดฝ่ายเดียวหากจำเป็น แต่ผมเชื่อว่าเราต้องการการแทรกแซงในวงกว้างมากกว่านั้น

ความก้าวหน้าของ AI ถูกขับเคลื่อนด้วยพลังการประมวลผลที่เพิ่มขึ้น ซึ่ง OpenAI ตระหนักเรื่องนี้ดีมาตั้งแต่ปี 2017 หลังจากเห็นผลตอบแทนที่สม่ำเสมอจากการขยายขนาด (scaling) ในหลายโปรเจกต์ 1 เราจึงมุ่งเน้นการวิจัยไปที่ทิศทางที่ขยายขนาดได้สูงเพื่อรักษาตำแหน่งผู้นำและสร้างอิทธิพลต่อทิศทางของ AGI แม้อัลกอริทึมใหม่ๆ จะมีความสำคัญ แต่ส่วนใหญ่คือการค้นพบตามเส้นทางของการขยายขนาด ซึ่งความก้าวหน้ามักสัมพันธ์กับการเข้าถึงทรัพยากรคำนวณ (compute) เสมอ

และเพื่อให้สอดคล้องกับ คำทำนายของ Ray Kurzweil จากช่วงปลายศตวรรษที่ 20 (เปิดในหน้าต่างใหม่) ตอนนี้เราอยู่ในช่วงเวลาประวัติศาสตร์ที่สติปัญญาเครื่องจักรเริ่มเหนือกว่ามนุษย์ในรูปแบบที่สร้างการเปลี่ยนแปลงขนานใหญ่

AI เปรียบเสมือนสิ่งที่ถูก เลี้ยงให้โต (grown) มากกว่าที่จะถูก ออกแบบ (designed) โดยเกิดจากกระบวนการเพิ่มประสิทธิภาพ (optimization) ซ้ำๆ บนพลังประมวลผลมหาศาล ส่งผลให้เกิดระบบที่ซับซ้อนจนยากจะเข้าใจได้ถ่องแท้ผ่านคำอธิบายทั่วไป แม้เราจะศึกษาข้อมูลเชิงลึกได้ผ่านกระบวนการที่คล้ายกับประสาทวิทยาศาสตร์ (neuroscience) แต่การทำงานโดยรวมของมันยังคงเป็นปริศนา

การศึกษา AI ที่ใช้การเรียนรู้เชิงลึกถือเป็นวิทยาศาสตร์เชิงทดลอง เรา ทุ่มเทความพยายามอย่างมาก ในการสร้างอัลกอริทึมที่มีหลักการและทำการทำนายที่ทดสอบได้ แต่โดยพื้นฐานแล้ว การฝึกฝนขนาดใหญ่แต่ละครั้งคือ การทดลอง ที่บางครั้งผลลัพธ์ก็น่าประหลาดใจ ยิ่งระบบมีความสามารถมากขึ้น การตีความผลลัพธ์ก็ยิ่งยากขึ้นตามไปด้วย

ความซับซ้อนนี้เพิ่มขึ้นเพราะอัลกอริทึมปัจจุบันมักพัฒนาความสามารถที่วัดผลได้ง่ายเร็วกว่าความสามารถที่วัดผลเชิงปริมาณได้ยาก เราพยายามทำความเข้าใจว่าทักษะต่างๆ ขยายผล (generalize) ไปในวงกว้างได้อย่างไร ตัวอย่างเช่น เราเชื่อว่าสามารถทำให้โมเดลเก่งคณิตศาสตร์ได้มากกว่านี้ แต่เราไม่ได้ให้ความสำคัญเป็นอันดับแรกเนื่องจากความเร่งด่วนในด้าน RSI และการวิจัย automated alignment

สติปัญญาจาก Deep Learning ไม่สามารถนำมาเปรียบเทียบกับมนุษย์ได้โดยตรง AI ไม่จำเป็นต้องเก่งกว่ามนุษย์ในทุกด้านเพื่อสร้างประโยชน์หรืออันตรายมหาศาล แค่ก้าวนำในบางมิติที่สำคัญก็เพียงพอแล้ว และเมื่อมันก้าวกระโดดข้ามมนุษย์ในหลายมิติมากขึ้น ความเข้าใจว่ามันมีความสามารถจริงเพียงใดก็จะยิ่งเลือนรางลง เนื่องจากสติปัญญาเครื่องจักรมาจากกระบวนการที่ต่างจากมนุษย์ เราจึงทึกทักไม่ได้ว่ามันจะยึดถือหลักการเดียวกับเรา ปัญหาหลักคือเรื่องของ alignment หรือการทำให้ AI “พยายามทำสิ่งที่ถูกต้อง” ตามมาตรฐานมนุษย์ ซึ่งผมแบ่งการวิจัยออกเป็นสองส่วนคือ Goal alignment (การบรรลุเป้าหมายที่ตั้งไว้ตรงหน้า) และ Value alignment (การยึดถือหลักการระดับสูงเพื่อปฏิบัติอย่างเหมาะสมในสถานการณ์ที่ไม่คุ้นเคย)

Goal alignment เกี่ยวข้องกับเรื่องในทางปฏิบัติ เช่น การปฏิบัติตาม ลำดับขั้นของคำสั่ง (instruction hierarchy) ขณะที่ Value alignment คือคุณสมบัติภายในที่ทำให้ AI มีจริยธรรมและซื่อสัตย์ แม้เส้นแบ่งจะพร่ามัว แต่เมื่อกล่าวถึงความสำคัญระยะยาว ผมจะเน้นไปที่ Value alignment เป็นหลัก

ความท้าทายพื้นฐานคือการขยายผล (generalization) เมื่อเครื่องจักรฉลาดขึ้นและต้องทำงานในสภาพแวดล้อมที่ต่างจากตอนฝึกฝน พวกมันอาจล้มเหลวในการยึดถือค่านิยมเดิม เรื่องนี้ยากขึ้นเพราะ AI ในอนาคตต้องโต้ตอบกับ AI อื่นๆ ตลอดเวลา สิ่งสำคัญคือเราต้องทำให้ AI ยึดถือค่านิยมมนุษย์เสมอ ไม่ว่าพวกมันจะอยู่ภายใต้การกำกับดูแลของมนุษย์หรือไม่ก็ตาม

ปัจจุบันมีวิธีฝึกฝน alignment สองประเภทหลัก วิธีแรกคือการส่งเสริมพฤติกรรมที่สอดคล้องผ่าน Reward System ซึ่งมีประสิทธิภาพในการสร้างผู้ช่วย AI แต่ก็เปราะบางหากเจอสถานการณ์นอกขอบเขตการฝึกฝน เช่น กรณี OpenAI-Hugging Face ที่เอเจนต์ล้มเหลวในการละเว้นการกระทำที่ขัดต่อเจตนารมณ์ของค่านิยมที่สอนไว้

วิธีที่สองคือการใช้ประโยชน์จากข้อมูล pretraining เพื่อเหนี่ยวนำให้เกิด alignment เช่น persona selection model (เปิดในหน้าต่างใหม่) แต่จุดอ่อนคือการขาดความทนทานต่อแรงกดดันจากการเพิ่มประสิทธิภาพ (optimization pressure) หากโมเดลถูกสอนให้บรรลุเป้าหมายที่ยากเกินไป มันอาจเรียนรู้ที่จะให้เหตุผลแบบมีแรงจูงใจแอบแฝงหรือบิดเบือนความคิดเพื่อให้บรรลุเป้าหมาย ซึ่งพบเห็นได้จากเหตุการณ์ความมั่นคงไซเบอร์ของโมเดลค่ายอื่นเมื่อเร็วๆ นี้

เราลงทุนมหาศาลในแนวทางเหล่านี้ และพบความก้าวหน้าสำคัญใน GPT-6 Astra ที่มีการปรับจูน (aligned) ดีกว่า GPT-5.6 Sol อย่างมีนัยสำคัญ อย่างไรก็ตาม ความก้าวหน้าในด้าน alignment อาจยังตามไม่ทันความฉลาดที่เพิ่มขึ้นของโมเดลโดยทั่วไป เรายังขาดทฤษฎีการขยายผลที่สมบูรณ์ ดังนั้นความสามารถในการตรวจสอบเทคนิค alignment เชิงประจักษ์ (empirically validate) จึงสำคัญกว่าตัวเทคนิคเอง

เดิมพันหลักของ OpenAI คือ การตรวจสอบลำดับความคิด (chain-of-thought monitoring) (เปิดในหน้าต่างใหม่) โดยเชื่อว่าหากเราไม่กำกับดูแลกระบวนการให้เหตุผลโดยตรง โมเดลจะไม่มีแรงจูงใจในการซ่อนความคิดที่ไม่สอดคล้องออกมา ตอนที่เปิดตัว o1-preview เราตั้งใจออกแบบให้ ซ่อนลำดับความคิด (hide the chain of thought) เพื่อป้องกันแรงกดดันจากการกำกับดูแลในระยะยาว

อย่างไรก็ตาม การประเมินล่าสุดระบุว่าความสามารถในการพึ่งพา CoT monitoring กำลังลดลง เนื่องจากโมเดลสมัยใหม่ทำงานในสภาพแวดล้อมที่ซับซ้อนขึ้น มีการโต้ตอบกับมนุษย์และ AI อื่นจนขอบเขตเริ่มพร่ามัว อีกทั้ง AI ยังเริ่มเก่งในการควบคุมกระบวนการให้เหตุผลของตัวเอง และฉลาดขึ้นได้แม้ไม่ได้ใช้การให้เหตุผลแบบเป็นคำพูด

แม้จะมีอุปสรรค แต่ผมเชื่อว่าเราสามารถพัฒนาวิธีการตรวจสอบให้ดีขึ้นได้ เช่น การผสานแนวคิดจาก CoT เข้ากับการตรวจสอบการทำงานภายใน (activation monitoring) ผ่านเทคนิคอย่าง การสารภาพ (confessions) (เปิดในหน้าต่างใหม่) แต่ถึงอย่างนั้น ความก้าวหน้าของ AI ก็จะถูกจำกัดด้วยขีดความสามารถในการตรวจสอบความปลอดภัยที่ต้องเข้มข้นขึ้นเรื่อยๆ

ข้อโต้แย้งสำคัญในการพัฒนาโมเดลที่ฉลาดขึ้นคือความจำเป็นในการสร้างระบบป้องกันภัยจาก AI อื่น โดยเฉพาะด้านความมั่นคงปลอดภัยไซเบอร์ที่โมเดลอาจมีความสามารถระดับเหนือมนุษย์ในการเจาะระบบ ขณะนี้เราอยู่ใน ช่วงเวลาที่จำกัด (narrow window) ในการใช้โมเดลที่ดีที่สุดเพื่อ ยกระดับความปลอดภัยให้เข้มงวดขึ้นอย่างมีนัยสำคัญ ของระบบที่สำคัญ

ความเสี่ยงจะเติบโตขึ้นตามความเป็นอิสระ (agency) ของ AI เส้นแบ่งระหว่างการนำไปใช้ในทางที่ผิด (misuse) กับการกระทำที่ผิดพลาดโดยอัตโนมัติจะเริ่มแยกจากกันยากขึ้น เอเจนต์บางตัวอาจไล่ตามวัตถุประสงค์ของตัวเองด้วยการหลอกลวงหรือข่มขู่มนุษย์ นอกจากนี้ยังมีความเสี่ยงจากเทคโนโลยีใหม่ๆ เช่น เชื้อโรคที่ถูกออกแบบทางวิศวกรรม ดังนั้นเราจึงต้องมี AI ที่ทรงพลังและ aligned มาเป็นด่านหน้าในการป้องกัน

ความเร่งรีบในการพัฒนาโดยไม่คำนึงถึงความปลอดภัยเป็นเรื่องไร้สาระเมื่อพิจารณาถึงเดิมพันนี้ หากความก้าวหน้ายังดำเนินต่อไป การพัฒนาตัวเองแบบวนซ้ำ (RSI) จะเป็นหัวใจสำคัญของการค้นพบทางวิทยาศาสตร์ในอนาคต ซึ่ง OpenAI มุ่งเน้นเรื่องนี้เพื่อให้สามารถควบคุมผลกระทบของสติปัญญาเครื่องจักรในระยะยาวได้

ทางออกที่ดีที่สุดคือการผสมผสานระหว่างการเร่งวิจัยด้าน alignment และการควบคุมการขยายขนาด เราต้องมุ่งเน้นกระบวนการวิจัยแบบอัตโนมัติไปที่การพัฒนาข้อมูลเชิงลึกใหม่ๆ เช่น การตรวจสอบลำดับความคิด (chain-of-thought monitoring) (เปิดในหน้าต่างใหม่) ซึ่งเกิดขึ้นได้จากโมเดลการให้เหตุผลที่ล้ำสมัย

เราจำเป็นต้องเปลี่ยนรูปแบบข้อตกลงอย่าง Preparedness Framework หรือ นโยบายการขยายขนาดอย่างรับผิดชอบ (Responsible Scaling Policy) (เปิดในหน้าต่างใหม่) ให้กลายเป็นเกณฑ์มาตรฐานที่บังคับใช้ในวงกว้างผ่านหน่วยงานตรวจสอบสากล เพื่อให้มั่นใจว่ามนุษย์จะยังคงเป็นส่วนหนึ่งของกระบวนการพัฒนาและสามารถควบคุมอนาคตได้

ตามที่ เราได้ระบุไว้ร่วมกับ Sam OpenAI มุ่งเน้นสามเป้าหมายหลัก: การนำทางผ่านความก้าวหน้าของ AI แบบอัตโนมัติโดยให้มนุษย์ยังอยู่ในวงจรการพัฒนา, การส่งมอบประโยชน์ทางวิทยาศาสตร์และเศรษฐกิจ, และการเพิ่มขีดความสามารถส่วนบุคคลด้วย AGI แม้คำสัญญาในระยะยาวจะยิ่งใหญ่ แต่ช่วงเวลาไม่กี่ปีต่อจากนี้คือบทพิสูจน์ที่สำคัญที่สุด

เรากำลังเปลี่ยนผ่านสู่โลกที่มีเครื่องจักรฉลาดล้ำ สิ่งสำคัญคือการรักษาอำนาจการตัดสินใจของมนุษย์ (human agency) และป้องกันการรวมศูนย์อำนาจจากผู้ที่ควบคุมคอมพิวเตอร์ขนาดใหญ่เพียงไม่กี่คน ปัจจุบันยังไม่มีแล็บใดที่แก้ปัญหา alignment ได้สมบูรณ์แบบพอจะขยายขนาดด้วยความเร็วสูงสุดต่อไปได้อีกนาน ผมจึงหวังว่าการชะลอตัวโดยสมัครใจและการประสานงานระดับนานาชาติจะกลายเป็นวาระสำคัญสูงสุดของรัฐบาลทั่วโลกเพื่อความปลอดภัยของมนุษยชาติ