AI Interpretation ถึงจุดเปลี่ยน? เครือข่ายประสาทเทียมอาจอ่านง่ายกว่าที่คิด

เครือข่ายประสาทเทียมอาจไม่ได้ยุ่งเหยิงอย่างที่นักวิจัยเคยคาดการณ์ไว้ ตามความเห็นของ Nick Cammarata หนึ่งในผู้ร่วมคิดค้นสมมติฐาน superposition โดย Roon จาก OpenAI ยกย่องว่าเป็นช่วงเวลาประวัติศาสตร์ ขณะที่ Neel Nanda จาก Google DeepMind เตือนว่าอย่าเพิ่งด่วนสรุป

ใน essay หัวข้อ "Neural Networks Are Already Clean" Nick Cammarata โต้แย้งว่าการทำงานภายในของโมเดล AI ขนาดใหญ่นั้นเข้าใจง่ายกว่าเดิมมาก โดย Cammarata ซึ่งปัจจุบันเป็นนักวิจัยที่ห้องปฏิบัติการ Goodfire ได้ออกมาปฏิเสธทฤษฎีที่เขาเคยมีส่วนร่วมสร้างขึ้นเมื่อหลายปีก่อนด้วยตัวเอง

เป้าหมายของ Mechanistic interpretability คือการแกะรอยว่าโมเดลได้คำตอบมาอย่างไรจากภายใน แทนที่จะดูเพียงผลลัพธ์ (output) ซึ่งตามทฤษฎีแล้ว นิวรอนเทียมแต่ละตัวควรแทนแนวคิดที่ชัดเจน แต่ในทางปฏิบัติกลับพบสิ่งที่เรียกว่า polysemanticity หรือนิวรอนตัวเดียวทำงานกับแนวคิดที่ไม่เกี่ยวข้องกัน เช่น ในโมเดล InceptionV1 ที่นิวรอนหนึ่งตัวตอบสนองต่อทั้งใบหน้าแมวและส่วนหน้าของรถยนต์

คำอธิบายเดิมคือทฤษฎี superposition ที่เชื่อว่าเมื่อนิวรอนไม่เพียงพอ เครือข่ายจะบรรจุแนวคิดที่ไม่เกี่ยวข้องกันลงในนิวรอนเดียวกันจนดูเหมือนปมที่ยุ่งเหยิง ทำให้ห้องปฏิบัติการหลายแห่งต้องฝึกโมเดลที่สองอย่าง sparse autoencoder เพื่อมาช่วยแยกแนวคิดออกจากกัน แต่ Cammarata ที่เคยร่วมเขียนบทความ "Zoom In" เพื่อนำเสนอเรื่องนี้ กลับเริ่มเห็นต่างออกไปหลังจากพบว่าในปี 2023 มีนิวรอนเพียงร้อยละ 1.7 เท่านั้นที่เข้าใจได้

หลักฐานที่อาจถูกตีความผิดมาตลอด

ปัจจุบัน Cammarata เชื่อว่าตัวอย่างที่โด่งดังที่สุดนั้นถูกตีความผิด โดยเขามองว่านิวรอนแมว-รถยนต์ จริงๆ แล้วคือ "ตัวตรวจจับรูปทรงตัว V" (V-shape detector) ซึ่งจะตอบสนองต่ออะไรก็ตามที่แหลมคม เช่น จมูกสุนัขจิ้งจอกหรือเปลวไฟ และจะต้านการกระตุ้นเมื่อเจอรูปทรงกลม มันจึงไม่ใช่การนำสองแนวคิดที่ไม่เกี่ยวข้องกันมาซ้อนทับกัน (superposition) ตามที่เคยเข้าใจ

นอกจากนี้เขายังตีความวงจรในบทความ "Zoom In" ใหม่ โดยมองว่าเป็นการสรุปข้อมูลทั่วไป (generalization) ของโมเดลที่จัดกลุ่มรถยนต์และสุนัขตามทิศทางที่หันหน้าเข้าหาตากล้องเท่านั้น เขาโทษว่าความยุ่งเหยิงที่พบใน InceptionV1 เกิดจากสถาปัตยกรรมล้าสมัยและเครื่องมือวิเคราะห์ที่ยังไม่ดีพอ

เขายังอธิบายความคลุมเครือด้วยรูปแบบ "recursive generalization" ที่นิวรอนจะเติบโตคล้ายกิ่งก้าน เช่น จากการจำตัวอักษร "iy" ไปสู่ "diy" และลงเอยที่ "do it yourself" ซึ่งต่างจาก superposition เพราะการจัดกลุ่มแบบนี้สามารถสอนให้เราเข้าใจเครือข่ายได้จริง

จากการทดสอบเบื้องต้นในโมเดล Qwen3-32B พบว่านิวรอนร้อยละ 90 มีหน้าที่หลักเพียงอย่างเดียว และพบผลลัพธ์คล้ายกันในโมเดลระดับล้านล้านพารามิเตอร์ Cammarata จึงสรุปโดยอ้างอิงแนวคิด "Bitter Lesson" ว่าการสืบสวนที่เรียบง่ายแต่ทำในขนาดมหาศาลนั้น ให้ผลลัพธ์เหนือกว่าวิธีการย่อยส่วนที่ซับซ้อน

ชัยชนะของความปลอดภัย AI เมื่อเครือข่าย "อ่านออก"

หากทฤษฎีนี้ถูกต้อง จะเป็นประโยชน์อย่างมากต่อความปลอดภัยของ AI เนื่องจากปัจจุบันการตรวจสอบ ลำดับความคิด (chains of thought) เริ่มเชื่อถือได้น้อยลง หากมนุษย์สามารถ "อ่าน" วงจรของโมเดลได้โดยตรง การหลอกลวงหรือพฤติกรรมอันตรายก็จะไม่สามารถซ่อนตัวได้อีกต่อไป และจะช่วยให้การปรับจูน (alignment) เข้าสู่เป้าหมายของมนุษย์ทำได้แม่นยำขึ้น

Roon จาก OpenAI แสดงความตื่นเต้นอย่างมากและระบุว่างานนี้อาจเป็นจุดเปลี่ยนสำคัญในประวัติศาสตร์วิทยาศาสตร์ ที่ช่วยลดความกังวลเรื่องหายนะจาก AI ลงได้ อย่างไรก็ตาม เขายังย้ำว่าต้องมีการยืนยันผลลัพธ์นี้จากภายนอกก่อน

Nanda มองเป็นเพียงเครื่องมือที่มีประโยชน์ แต่ไม่ใช่จุดเปลี่ยน

Neel Nanda หัวหน้าทีมตีความที่ Google DeepMind ให้ความเห็นที่ระมัดระวังกว่า โดยเขากล่าวว่าแม้การวิเคราะห์ตามนิวรอนจะน่าสนใจและช่วยตอบคำถามในเชิงปฏิบัติได้ แต่เขาไม่เชื่อว่าปัญหาเรื่องการตีความจะถูกไขออกได้อย่างสมบูรณ์ และคาดว่าการวิเคราะห์แบบนี้อาจพลาดข้อมูลสำคัญบางอย่างไป

Nanda เขียน ยืนยันว่าเขายังเชื่อว่า superposition มีอยู่จริง เพราะโมเดลภาษาเก็บข้อมูลได้มากกว่าจำนวนนิวรอนที่มี อย่างไรก็ตามเขาก็ยกย่อง Cammarata ที่นำเครื่องมือสมัยใหม่มาตรวจสอบงานวิจัยเดิมของตนเอง

ข้อพิพาทนี้ส่วนหนึ่งอยู่ที่การนิยาม โดย Cammarata เชื่อว่าเครือข่ายไม่ได้บรรจุสิ่งที่ไม่เกี่ยวข้องกันเข้าด้วยกันตามอำเภอใจ แม้เอกสารทางเทคนิคจะยังไม่เผยแพร่ แต่เขาก็ทิ้งท้ายอย่างมั่นใจว่า นักวิจัยอัตโนมัติอาจใช้เวลาเพียงไม่กี่เดือนในการทำสิ่งที่มนุษย์เคยใช้เวลาเกือบทศวรรษกับโมเดลภาพได้สำเร็จ