SkillOpt จาก Microsoft โชว์ศักยภาพการถ่ายโอนทักษะเอเจนต์ข้ามรุ่นโมเดลและแพลตฟอร์มได้สำเร็จ
SkillOpt คือเครื่องมือเพิ่มประสิทธิภาพในรูปแบบข้อความ (text-space optimizer) ที่เกิดจากความร่วมมือของทีมวิจัยจาก Microsoft, Shanghai Jiao Tong University, Tongji University และ Fudan University
กระบวนการของ SkillOpt คือการฝึกฝนเอกสารทักษะภาษาธรรมชาติเพียงชุดเดียวในขณะที่โมเดลเป้าหมายยังคงสถานะเดิม (frozen) โดยตัวเพิ่มประสิทธิภาพจะวิเคราะห์ผลลัพธ์ (rollouts) ที่ผ่านการให้คะแนนแล้ว เพื่อเสนอการแก้ไขแบบจำกัดขอบเขต ไม่ว่าจะเป็นการเพิ่ม ลบ หรือแทนที่ข้อความ ซึ่งการแก้ไขจะถูกยอมรับก็ต่อเมื่อคะแนนดีขึ้นอย่างชัดเจนในส่วนคัดเลือก (selection split) เท่านั้น โดยผลลัพธ์ที่ได้จะเป็นไฟล์เพียงไฟล์เดียวที่ชื่อว่า best_skill.md
ในรายงานผลการถ่ายโอนข้อมูลจะแบ่งเป็นสามคอลัมน์หลัก ได้แก่ Baseline คือคะแนนของโมเดลที่ไม่มีทักษะเสริม Direct คือคะแนนจากการฝึก SkillOpt บนโมเดลเป้าหมายนั้นโดยตรง และ Transferred คือการนำทักษะที่ฝึกจากสภาพแวดล้อมอื่นมาใช้งานทันทีโดยไม่มีการปรับแต่ง ซึ่งจุดที่น่าสนใจที่สุดไม่ใช่การเทียบ Transferred กับ Direct แต่เป็นการดูว่าประสิทธิภาพที่เพิ่มขึ้นนั้นยังคงอยู่มากน้อยเพียงใดเมื่อมีการย้ายสภาพแวดล้อม
Cross-model transfer: การถ่ายโอนข้ามรุ่นในตระกูลเดียวกัน
การทดสอบนี้เป็นการฝึกทักษะบน GPT-5.4 แล้วนำไปปรับใช้กับรุ่นย่อยที่มีขนาดเล็กกว่า ซึ่งให้ผลลัพธ์ที่หลากหลาย
| Benchmark | Target | Baseline | Direct | Transferred | Gain | Share of in-domain gain |
|---|---|---|---|---|---|---|
| SpreadsheetBench | GPT-5.4-mini | 36.1 | 47.5 | 45.5 | +9.4 | 82% |
| SpreadsheetBench | GPT-5.4-nano | 23.5 | 42.5 | 26.5 | +3.0 | 16% |
| LiveMath | GPT-5.4-mini | 14.7 | 32.8 | 19.2 | +4.5 | 25% |
| LiveMath | GPT-5.4-nano | 23.2 | 27.2 | 28.8 | +5.6 | 140% |
ข้อมูลที่น่าจับตาคือ SpreadsheetBench บน GPT-5.4-mini ที่สามารถรักษาประสิทธิภาพไว้ได้สูงถึง 82% เสมือนเป็นการนำทักษะมาใช้ต่อได้ฟรี ส่วนใน LiveMath บน GPT-5.4-nano กลับพบว่าทักษะที่ถ่ายโอนมาทำคะแนนได้ 28.8 ซึ่งสูงกว่าการฝึกในโดเมนโดยตรงที่ 27.2 งานวิจัยจึงตีความว่าขั้นตอนการเรียนรู้บางอย่างอาจไม่ขึ้นตรงต่อรุ่นของโมเดลเป้าหมาย (target-model agnostic)
อย่างไรก็ตาม ประสิทธิภาพในการถ่ายโอนยังคงมีความไม่สม่ำเสมอ โดยจุดที่ต่ำที่สุดอยู่ที่ 16% ใน SpreadsheetBench ของรุ่น GPT-5.4-nano แต่งานวิจัยยืนยันว่าไม่มีการทดสอบใดที่คะแนนตกลงไปต่ำกว่าค่า Baseline เดิม และการทดสอบนี้ยังจำกัดอยู่ในตระกูล GPT เท่านั้น ยังไม่มีการข้ามไปตระกูลอื่นอย่าง Qwen
Cross-harness transfer: ผลลัพธ์ที่โดดเด่นที่สุดในการใช้งานจริง
การทดลองส่วนนี้ถือเป็นหัวใจสำคัญของการนำไปใช้งานจริง โดยทุกการทดสอบใช้ GPT-5.5 เป็นพื้นฐาน
| Benchmark | Source → Target | Baseline | Direct | Transferred | Gain | Share of in-domain gain |
|---|---|---|---|---|---|---|
| SpreadsheetBench | Codex → Claude Code | 22.1 | 80.4 | 81.8 | +59.7 | 102% |
| SpreadsheetBench | Claude Code → Codex | 27.5 | 85.0 | 71.1 | +43.6 | 76% |
| LiveMath | Claude Code → Codex | 35.2 | 78.4 | 48.0 | +12.8 | 30% |
| LiveMath | Codex → Claude Code | 40.8 | 56.5 | 42.4 | +1.6 | 10% |
ผลลัพธ์ที่สร้างความประหลาดใจคือ ทักษะที่ปรับแต่งจาก Codex ช่วยให้ Claude Code มีคะแนนพุ่งจาก 22.1 เป็น 81.8 ซึ่งสูงกว่าการที่ Claude Code ฝึกฝนด้วยตัวเอง (80.4) เสียอีก
แม้ว่าทั้งสองระบบจะมีอินเทอร์เฟซและ API การเรียกใช้ไฟล์ที่ต่างกัน แต่ทักษะที่อยู่รอดมาได้ไม่ใช่แค่การจำชุดคำสั่ง เอกสารงานวิจัย ระบุว่าความสำเร็จใน SpreadsheetBench เกิดจากขั้นตอนการทำงานระดับโครงสร้าง เช่น การตรวจสอบเวิร์กบุ๊กและการจัดการค่าคงที่ ซึ่งเป็นหลักการที่ใช้ได้ผลไม่ว่าจะเป็น CLI ตัวใดก็ตาม
ในทางกลับกัน LiveMath กลับรักษาประสิทธิภาพไว้ได้เพียง 10% สะท้อนให้เห็นว่าทักษะเชิงกระบวนการ (procedural skills) เช่น การตรวจสอบและจัดรูปแบบ มีความยืดหยุ่นในการพกพาสูงกว่าทักษะการใช้เหตุผลหนักๆ ที่มักจะผูกติดกับสภาพแวดล้อมที่ฝึกฝน
Cross-benchmark transfer: การถ่ายโอนข้ามประเภทงาน
| Source → Target | Model | Baseline | Transferred | Gain |
|---|---|---|---|---|
| Omni-MATH → LiveMath | GPT-5.4-mini | 14.7 | 20.3 | +5.6 |
| Omni-MATH → LiveMath | GPT-5.4-pro | 14.9 | 19.9 | +5.0 |
| Omni-MATH → LiveMath | GPT-5.4-max | 17.5 | 24.3 | +6.8 |
แม้ไม่มีข้อมูลการเปรียบเทียบกับการฝึกในโดเมนโดยตรง แต่ผลการถ่ายโอนจาก Omni-MATH ไปยัง LiveMath แสดงให้เห็นการพัฒนาที่เป็นบวกในโมเดลทุกขนาด ซึ่งบ่งชี้ว่าขั้นตอนทางคณิตศาสตร์บางอย่างสามารถนำกลับมาใช้ใหม่ได้แม้รูปแบบโจทย์และการตอบจะเปลี่ยนไป
ทำไม Artifact ของ SkillOpt ถึงยืดหยุ่นสูง
ความลับอยู่ที่การใช้รูปแบบไฟล์ best_skill.md เดียวกันในทุกโหมดการทำงาน ไม่ว่าจะเป็น direct chat, Codex หรือ Claude Code ทำให้การทดลองข้ามระบบเป็นไปได้ตั้งแต่ต้น โดยตัว harness ของแต่ละระบบจะทำการแปลงทักษะเป็นไฟล์ที่สอดคล้องกับสภาพแวดล้อมการทำงานของตนเองโดยอัตโนมัติ
นอกจากนี้ Artifact ยังมีความกระชับ โดยมีความยาวเพียง 379 ถึง 1,995 tokens และเกิดจากการแก้ไขที่กลั่นกรองมาอย่างดีเพียง 1-4 ครั้ง กฎที่เรียนรู้ส่วนใหญ่เน้นไปที่กระบวนการทำงานมากกว่าการเจาะจงเฉพาะกรณี ตัวอย่างเช่น ใน SpreadsheetBench ระบบจะเน้นตรวจสอบโครงสร้างและคำนวณค่าคงที่แทนที่จะพึ่งพาฟังก์ชันคำนวณของ Excel เพียงอย่างเดียว
บทสรุปของความสามารถในการพกพาทักษะ AI
นวัตกรรมนี้ช่วยให้ต้นทุนการฝึกฝนเกิดขึ้นเพียงครั้งเดียวในรูปแบบออฟไลน์ ซึ่งวัดผลได้ชัดเจน โดยงานวิจัยพบว่าการใช้ tokens ในการฝึกแตกต่างกันตามประเภทงาน เช่น SpreadsheetBench ใช้เพียง 0.6 ล้าน tokens ต่อหน่วยคะแนน ในขณะที่ DocVQA ใช้สูงถึง 46.4 ล้าน tokens ซึ่งการที่ทักษะสามารถย้ายไปใช้ข้ามระบบได้ หมายความว่าเราสามารถเลือกฝึกในจุดที่ราคาถูกที่สุดแล้วนำไปใช้งานจริงในจุดที่ต้องการได้ทันที
อีกแง่ที่สำคัญคือการตรวจสอบ (Audit) เนื่องจาก Artifact อยู่ในรูปแบบไฟล์ข้อความที่มนุษย์อ่านเข้าใจได้ง่าย การเปลี่ยนแปลงทุกอย่างมีประวัติบันทึกใน edit_apply_report.json ทำให้โปร่งใสกว่าการส่งมอบน้ำหนักโมเดล (weights) แบบเดิมที่ผ่านการ fine-tune ซึ่งยากต่อการตรวจสอบเนื้อหาภายใน
แหล่งข้อมูล: Paper, GitHub, Project page, Docs, PyPI และ Demo video
Baselines ที่อ้างถึง: GEPA, TextGrad, EvoSkill และ Trace2Skill
Benchmarks ที่อ้างถึง: SearchQA, SpreadsheetBench, DocVQA, LiveMathematicianBench และ ALFWorld
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร