Induction Labs เปิดตัว Photon-1 โมเดล MoE 106B ที่เรียนรู้การใช้คอมพิวเตอร์จากวิดีโอโดยไม่ต้องอาศัยการกำกับข้อมูล

โดยปกติแล้ว เอเจนท์ AI ที่เรียนรู้จากวิดีโอจำเป็นต้องทราบว่าการกระทำใดส่งผลให้เกิดเฟรมภาพถัดไป แต่ Induction Labs มองว่าข้อกำหนดนี้คือคอขวดสำคัญในการพัฒนา ล่าสุดพวกเขาจึงได้เปิดตัว imagination models สถาปัตยกรรมโมเดลพื้นฐาน (foundation model) ที่ผ่านการเทรนล่วงหน้า (pretrain) บนวิดีโอดิบโดยไม่ต้องใช้ป้ายกำกับการกระทำ (action labels) ใดๆ

ระบบทดสอบต้นแบบคือ Photon-1 ซึ่งเป็นโมเดลประเภท transformer แบบ sparse ขนาด 106B-A5B mixture-of-experts (MoE) ที่ถูกฝึกฝนด้วยวิดีโอสาธิตการใช้คอมพิวเตอร์ยาวนานรวม 18 ปี จากการทดสอบภายในระบุว่า Photon-1 สามารถเอาชนะ Gemini 3.1 Flash-Lite ในการใช้งานคอมพิวเตอร์มาตรฐาน โดยใช้การคำนวณในการเทรนล่วงหน้าน้อยกว่ามาก และมีค่าใช้จ่ายในการให้บริการ (serve) ต่ำกว่าประมาณ 3 เท่า

สิ่งที่ imagination model ทำจริงๆ

imagination model จะทำหน้าที่ทำนายเฟรมภาพในอนาคตแบบ autoregressively ผ่านเป้าหมายที่เรียกว่า next-latent-token-prediction โดยไม่ได้สร้างพิกเซลขึ้นมาใหม่ในระหว่างการเทรน แต่เป็นการจำลองทุกอย่างผ่านพื้นที่การแทนข้อมูลที่เรียนรู้มา (learned representation space)

หัวใจสำคัญของเทคโนโลยีนี้คือ การทำนายสถานะในอนาคตช่วยสอนให้โมเดลรู้วิธีทำงานต่างๆ ให้สำเร็จได้ แม้จะไม่เคยเห็นการกระทำจริงในคลิปที่ใช้เทรนก็ตาม Induction Labs เรียกสิ่งนี้ว่า implicit policy ซึ่งทำให้โมเดลเข้าใจแนวคิดและเป้าหมายสิ่งที่ผู้ใช้กำลังทำ แทนที่จะเป็นเพียงการจดจำตำแหน่งการคลิกเมาส์เท่านั้น

เคล็ดลับการบีบอัดที่ทำให้มันขยายขนาดได้

สถาปัตยกรรมนี้ใช้ vision encoder ที่ทำงานร่วมกับ finite scalar quantization (FSQ) โดยบีบอัดแต่ละเฟรมให้เหลือเพียง 960 discrete tokens แต่ละโทเคนเป็นเวกเตอร์ 8 มิติที่มีค่าได้เพียงห้าค่าคือ −1, −1/2, 0, 1/2, 1 ซึ่งช่วยให้เกิด codebook ที่มีความเป็นไปได้ถึง 5⁸ โค้ด

ผลบัพธ์ที่ได้จากการเข้ารหัสจะอยู่ที่ราว 2.2 KB ต่อเฟรม ซึ่ง Induction Labs รายงานว่าให้ ประสิทธิภาพการบีบอัดดีกว่าเดิมกว่า 100 เท่า เมื่อเทียบกับวิธีการ OCR หรือการแทนข้อมูลในโมเดล multimodal ทั่วไป แต่ยังคงสามารถรักษารายละเอียดของข้อความ เลย์เอาต์ และการเปลี่ยนแปลงของหน้าจอไว้ได้อย่างครบถ้วน เพื่อให้อัตราการบีบอัดสูงขนาดนี้ Photon-1 ได้ใช้ differential latent encoder ซึ่งจะเข้ารหัสเฟรมวิดีโอเป็นคู่ เพื่อให้ latents ทำงานโดยอธิบายความแตกต่างระหว่างเฟรมแทนที่จะอธิบายเนื้อหาทั้งหมดของเฟรมใหม่ทุกครั้ง

ข้อมูลและการคำนวณในการเทรนล่วงหน้า

คลังข้อมูลเริ่มต้นจากการคัดกรอง วิดีโอสาธารณะ 2 พันล้านคลิป จนเหลือเพียง วิดีโอบันทึกหน้าจอคอมพิวเตอร์ประมาณ 2 ล้านคลิป โดยมีโมเดลตรวจจับคีย์เฟรมทำหน้าที่คัดเฟรมที่ซ้ำซ้อนออกไป

ชุดข้อมูลสุดท้ายประกอบด้วย 575 ล้านเฟรม ที่ความเร็ว 1 เฟรมต่อวินาที คิดเป็น 552 พันล้านโทเคน หรือเทียบเท่าวิดีโอความยาว 18 ปี โดย Photon-1 ถูกเทรนล่วงหน้าตั้งแต่เริ่มต้นเพียง หนึ่ง epoch เท่านั้น

การฝึก MoE ขนาด 106B-A5B บน context 32K ใช้เวลาประมาณ 30,000 H200 GPU-hours หรือคิดเป็น 4.4×10²² training FLOPs โดยทีมวิจัยใช้ PyTorch ร่วมกับ custom fused kernels สำหรับ vision ทันทีเพื่อให้มีค่า 40% end-to-end MFU ซึ่งเป็นตัวเลขที่พิสูจน์ถึงประสิทธิภาพการใช้ทรัพยากรระดับสูง

จากจินตนาการสู่การกระทำ

ทีมผู้พัฒนาได้ปรับแต่ง (finetuned) Photon-1 ต่อด้วย เส้นทางการใช้งานคอมพิวเตอร์น้อยกว่า 35,000 เส้นทาง เพื่อสอนคำสั่งและการเข้าถึงฟังก์ชันต่างๆ ในขั้นตอนการประมวลผล Photon-1 จะทำนายสถานะเฟรมถัดไปก่อน จากนั้นจึงส่งค่าการกระทำที่จะทำให้ไปถึงจุดหมายนั้น

กระบวนการถัดมาคือการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ออนไลน์ โดยรันการทดสอบแบบเรียลไทม์บน virtual machines (VM) ในสภาพแวดล้อมเดสก์ท็อป Linux 5 รูปแบบ (LXQt, Xfce, MATE, GNOME และ Plasma) ซึ่งรวมถึงการใช้งานเว็บแอปผ่าน Google และการทดสอบกับ ChatGPT clone ที่สร้างขึ้นภายใน

การเปรียบเทียบการคำนวณและต้นทุน

*ถ่วงน้ำหนักที่อัตราส่วนโทเคนอินพุตต่อเอาต์พุต 10:1 ตามมาตรฐานการทดสอบการใช้งานคอมพิวเตอร์

ทั้งนี้มีข้อควรระวังสองประการ คือตัวเลขของ Gemini เป็นการประมาณการโดย Induction Labs เอง ซึ่งคาดว่าอัตราส่วนจริงอาจต่างกันราว 27-30 เท่า และประการที่สองคือเกณฑ์มาตรฐานนี้เป็นการทดสอบภายในที่ยังไม่เปิดเผยต่อสาธารณะ จึงยังไม่สามารถตรวจสอบจากภายนอกได้อย่างอิสระ

การขยายความสามารถไปไกลกว่าเดสก์ท็อป

สิ่งที่น่าสนใจคือแม้ Photon-1 จะเรียนรู้เฉพาะวิดีโอเดสก์ท็อป แต่มันกลับทำผลงานได้ดีในโดเมนอื่นเมื่อมีการปรับแต่ง โดยใน การแข่งหมากฮอส 20,000 เกม Photon-1 สามารถเอาชนะทั้ง vision encoder ทั่วไปและ LLM อย่าง Ling-flash-2.0 ได้ทั้งในแง่การจำลองโลกและคุณภาพการเดินหมาก

นอกจากนี้ ใน เกมบิลเลียด 10,000 เกม ที่สร้างจากระบบจำลอง (5 fps) Photon-1 มีค่าความคลาดเคลื่อนสัมบูรณ์เฉลี่ย (MAE) เพียง 0.47 เมื่อเทียบกับเอนจินฟิสิกส์จริง ในขณะที่ LLM และ vision encoder ทั่วไปมีค่าความคลาดเคลื่อนสูงถึง 1.15 และ 1.44 ตามลำดับ

สุดท้ายนี้ แม้ Photon-1 จะแสดงศักยภาพที่น่าทึ่ง แต่ปัจจุบัน ยังไม่มีการเปิดเผยน้ำหนักโมเดล (weights), ไม่มี API และไม่มีใบอนุญาตให้ใช้งานทั่วไป เนื่องจากนี่ยังคงเป็นผลลัพธ์จากงานวิจัยภายในเท่านั้น