Nous Research เปิดตัว Arete-27B ลดโฆษณาชวนเชื่อใน Qwen เหลือ 0.9%

Nous Research ได้เปิดตัว Arete-27B โมเดลภาษาขนาดใหญ่ที่ผ่านการ supervised fine-tune จาก Qwen3.8-27B ของ Alibaba โดยจุดประสงค์หลักคือการตัดการวางกรอบแนวคิดแบบรัฐบาลจีนออกจากคำตอบของ Qwen จากการประเมินด้วย 803 prompt ของ Nous พบว่าคำตอบที่มีการโฆษณาชวนเชื่อลดลงอย่างมากจาก 22% เหลือเพียง 0.9% ช่วยให้นักพัฒนาได้รับทักษะด้าน agentic ในระดับสูงโดยไม่มีความเอนเอียงทางการเมือง โดยมีการเปิดเผย weights, ข้อมูลการประเมิน (eval) และข้อมูลการฝึกสอนสู่สาธารณะทั้งหมด

TL;DR

• ขนาด: 27B dense parameters ฝึกสอนที่ context 64k บนพื้นฐานของ Qwen3.8-27B ที่รองรับได้สูงสุด 262,144 tokens
• การใช้งาน: BF16 weights ขนาด 53.81 GB และเวอร์ชัน Q4_K_M quant ขนาด 17.20 GB ออกแบบมาสำหรับ GPU ระดับผู้บริโภคขนาด 24 GB
• ประสิทธิภาพ: คงความสามารถตามเกณฑ์มาตรฐาน (benchmarks) เดิมไว้ได้ โดยมีการปรับการวางกรอบทางการเมืองให้สอดคล้องกับโมเดลจากฝั่งตะวันตก
• จุดเด่น: อัตราการโฆษณาชวนเชื่อลดลงเหลือ 0.9% จากเดิม 22%
• จุดด้อย: คะแนนข้อเท็จจริง (Fact score) อยู่ที่ 2.98 จาก 5 โดยยังมีคำตอบที่ได้ 0 คะแนนอยู่ 216 จาก 803 คำตอบ

Arete-27B คืออะไร?

Arete-27B คือ Qwen3.8-27B ที่ผ่านกระบวนการ supervised fine-tuning เพียงอย่างเดียว โดยทาง Nous ไม่ได้ใช้การเรียนรู้แบบ RL, ไม่มีการทำ preference optimization หรือเปลี่ยนโครงสร้างโมเดลใดๆ โมเดลนี้ใช้สัญญาอนุญาตแบบ Apache 2.0 เช่นเดียวกับโมเดลพื้นฐาน

ทีมงาน Nous ระบุว่าในโมเดลพื้นฐานมักพบการปฏิเสธคำตอบ การเลี่ยงตอบ หรือการวางกรอบตามแนวทาง CCP ในหัวข้อที่ละเอียดอ่อน พวกเขาจึงเลือก Qwen3.8-27B มาพัฒนาต่อเนื่องจากเป็นโมเดลแบบ local ที่มีความสามารถสูงที่สุดและมีพฤติกรรมเป้าหมายที่ต้องการแก้ไขอย่างชัดเจน

Arete-27B ถูกฝึกสอนอย่างไร?

Nous เลือกใช้โมเดล Inkling จาก Thinking Machines เป็นผู้สอน (teacher) เพื่อหลีกเลี่ยงข้อจำกัดด้านเงื่อนไขการใช้งานในการทำ distillation และได้ปฏิเสธการใช้ Nemotron 3 Ultra เนื่องจากพบประวัติที่ไม่แน่นอนในหัวข้อเกี่ยวกับประเทศจีน

การฝึกสอนครอบคลุมโทเคนประมาณ 52.8 ล้านโทเคน ที่ context 64k รันทั้งหมด 2 epochs รวม 1,202 steps ด้วย batch size 48 ใช้ AdamW และ peak learning rate ที่ 1e-5 โดยมีการฝึกสอนในส่วน weights ของ language-model ทั้งหมด แต่คงสถานะ vision encoder ให้ถูกแช่แข็ง (frozen) ไว้เนื่องจากข้อมูลเป็นรูปแบบข้อความเท่านั้น

ชุดข้อมูล arete-data-pairs ที่ปล่อยออกมาประกอบด้วย 34,878 prompts ครอบคลุม 7 หัวข้อ โดยแต่ละ prompt จะมีคู่คำตอบจากทั้ง Inkling และ Qwen ซึ่งมีชุดคำตอบที่ผ่านการคัดเลือกนำไปใช้ใน SFT split จำนวน 29,236 ชุด

การประเมินการโฆษณาชวนเชื่อทำงานอย่างไร?

การทดสอบใช้ชุดข้อมูล Propaganda_Eval ซึ่งมี 803 prompts แบ่งเป็น 7 หมวดหมู่ เช่น เสรีภาพในการแสดงออก อุดมการณ์ของรัฐ และประชาธิปไตย โดยใช้ Grok 4.7 เป็นผู้ตัดสินและให้คะแนนในสองส่วนหลัก คือ ค่าเฉลี่ยข้อเท็จจริง (0-5 คะแนน) และการตรวจหาการโฆษณาชวนเชื่อ (Any propaganda) ที่นำคำอธิบายของรัฐมาใช้ เพื่อให้เกิดความโปร่งใส ผู้ตัดสินจะต้องระบุวลีที่ใช้ติดธง (flag) ว่าเป็นการโฆษณาชวนเชื่ออย่างชัดเจน ทั้งนี้ Nous ได้นำ prompt ที่ซ้ำซ้อนกับการฝึกสอนออกจากการประเมินแล้ว และเปิดสคริปต์การให้คะแนนภายใต้สัญญาอนุญาตแบบ MIT

ผลการทดสอบ benchmark

ผลการทดสอบพบว่า Arete-27B เพิ่มค่าเฉลี่ยข้อเท็จจริงจาก 2.32 เป็น 2.98 และลดการโฆษณาชวนเชื่อลงจาก 22% เหลือ 0.9% โดยการเปลี่ยนแปลงที่เห็นชัดที่สุดคือด้านเสรีภาพในการแสดงออก ซึ่งคะแนนข้อเท็จจริงพุ่งขึ้นจาก 0.89 เป็น 2.44

ในด้านประสิทธิภาพการประมวลผล Hermes Bench ยังคงที่อยู่ที่ 65.60% (เทียบกับเดิม 65.77%) ขณะที่ Terminal-Bench-2.1 เพิ่มขึ้นจาก 67% เป็น 70% ในระบบทดสอบของ Nous เอง

ตารางเปรียบเทียบ Arete-27B กับรุ่นอื่น

การใช้งานสำหรับนักพัฒนา

ปัจจุบันสามารถดาวน์โหลด Weights รูปแบบ BF16 ได้บน Hugging Face ส่วนไฟล์ GGUF จากชุมชนสามารถใช้งานร่วมกับ llama.cpp, LM Studio และ Ollama ได้ทันที โดยมีขนาดให้เลือกตั้งแต่ 8.64 GB ถึง 53.81 GB ซึ่งรวมไฟล์ image projector มาให้ในตัว

ประเด็นสำคัญ

• Arete-27B ประสบความสำเร็จในการลดโฆษณาชวนเชื่อลงเหลือ 0.9%
• ใช้การฝึกสอนแบบ SFT ปกติโดยไม่พึ่งพา RL
• รักษาประสิทธิภาพการประมวลผล Hermes Bench ไว้ได้เท่าเดิม
• การระลึกข้อเท็จจริงดีขึ้น แต่ยังตามหลังโมเดลคู่แข่งบางรุ่นในระดับเดียวกัน
• เปิดเผยข้อมูลและ weights ทั้งหมดภายใต้ Apache 2.0 และ MIT

บทความโดย Asif Razzaq CEO ของ Marktechpost AI Media Inc. ผู้ผลักดันแพลตฟอร์มข่าวสารด้าน machine learning และ deep learning ที่มีผู้เข้าชมกว่า 2 ล้านครั้งต่อเดือน