Google เปิดตัว Harness2 เครื่องมือ Open Source ช่วยให้ AI เก่งขึ้นเองได้

เรื่องย่อ

กระทู้นี้ได้รับความสนใจอย่างมาก (กว่า 1,100 upvotes) เมื่อ u/chemist_slime ได้แชร์ข่าวการเปิดตัว Harness2 จาก Google ซึ่งเป็นเครื่องมือ Open Source ที่ออกแบบมาเพื่อเปลี่ยน AI Harness (องค์ประกอบรอบตัวโมเดล เช่น System prompt, เครื่องมือ, หน่วยความจำ) ให้กลายเป็นระบบที่พัฒนาตัวเองได้ตลอดเวลา

ปกติแล้วมนุษย์จะเป็นคนออกแบบ Harness เพียงครั้งเดียวเพื่อให้เอเจนท์ใช้งาน แต่ Harness2 จะให้ตัว AI เองเป็นคนเสนอการปรับปรุงและรันเพื่อเปรียบเทียบหาเวอร์ชันที่ดีที่สุดสำหรับแต่ละงาน โดยที่โมเดลไม่ต้องเปลี่ยนค่าน้ำหนัก (Weights) เลย ซึ่ง Google ได้ทดสอบกับ Gemini 3.5 Flash และ GLM-5 แล้วพบว่าแม้จะปรับปรุงเพียงรอบเดียวก็ให้ผลลัพธ์ที่ดีขึ้นกว่าเดิมในงานด้านกฎหมายและงานออฟฟิศ

คนในกระทู้ว่าอย่างไร

• กังวลเรื่องการกินทรัพยากร Context: มีความเห็นที่ได้รับคะแนนสูงมองว่า การที่เอเจนท์ต้องวิเคราะห์และปรับปรุงตัวเองแบบนี้ ข้อมูลทั้งหมดจะถูกอัดเข้าไปใน Context Window ซึ่งอาจไม่เป็นปัญหากับผู้ใช้ Cloud ที่มีพื้นที่มหาศาล แต่ผู้ใช้งาน Local LLM อาจเจอปัญหาพื้นที่จำกัด อย่างไรก็ตาม มีคนแย้งว่ามันอาจจะช่วยตัดข้อมูลที่ไม่จำเป็นออกไปจน Context กระชับขึ้นก็ได้
• ระวังปัญหา Overfitting: สมาชิกบางส่วนเตือนว่าการที่ Harness ปรับตัวให้เข้ากับงาน A มากเกินไป อาจทำให้ประสิทธิภาพในงาน B ลดลงได้ เช่น ถ้ามันปรับตัวจนเก่งเรื่องการบวกเลขมากเกินไป มันอาจจะลืมวิธีการคำนวณพื้นฐานที่จำเป็นสำหรับการคูณ
• ประสิทธิภาพขึ้นอยู่กับ Harness มากกว่าที่คิด: มีการแชร์ข้อมูลว่าการใช้โมเดลตัวเดียวกัน แต่เปลี่ยน Harness ต่างกัน ให้ผลลัพธ์คะแนน Benchmark ที่ทิ้งห่างกันมาก การที่ Google ทำให้การออกแบบ Harness เป็นระบบอัตโนมัติจึงถือเป็นเรื่องที่มีนัยสำคัญมาก
• ข้อสังเกตเรื่องเทคโนโลยีที่ใช้ทดสอบ: มีคนตั้งข้อสังเกตว่าทำไม Google ถึงใช้โมเดลที่ดูเก่ากว่าปัจจุบันในการโชว์ผลทดสอบ ซึ่งก็มีคนมาช่วยอธิบายว่าเป็นเรื่องปกติของงานวิจัยที่ต้องใช้เวลาเตรียมการนานก่อนจะเผยแพร่ได้ รวมถึงการทดสอบกับโมเดลค่ายอื่นอย่าง GLM-5 ก็เพื่อแสดงให้เห็นว่ามันใช้งานข้ามค่ายได้จริง
• ประเด็นเรื่องดีไซน์: มีคอมเมนต์ตลกๆ ทิ้งท้ายว่าภาพกราฟิกประกอบของ Google ดันใช้ฟอนต์ Comic Sans ซึ่งดูไม่เข้ากับความล้ำของเทคโนโลยีเอาเสียเลย