tag: Benchmark

OpenAI เปิดตัว GPT-6.1 Terra โมเดล AI ระดับกลางที่ลดต้นทุน API ลงครึ่งหนึ่งจากรุ่นก่อนหน้า โดยเน้นประสิทธิภาพด้านความฉลาดต่อราคาที่คุ้มค่าสูงสุดสำหรับการทำงานอัตโนมัติและงานออฟฟิศ

Exa เปิดตัว Search API เวอร์ชัน 3.0 สำหรับ AI Agents พร้อมโมเดล embedding ใหม่และแพลน Lite ราคาประหยัด โดยทำคะแนนนำคู่แข่งในผลการทดสอบประสิทธิภาพที่จัดทำขึ้นเอง

Datalab เปิดตัว OmniParseBench มาตรฐานทดสอบ OCR แบบ Open Source ที่ใช้ระบบ Pass/Fail กว่า 16,000 รายการ ครอบคลุม 92 ภาษา เพื่อการวัดผลเอกสารที่แม่นยำและตรวจสอบได้จริง

GitHub และ Microsoft เปิดตัว ReviewBench ชุดทดสอบประสิทธิภาพเอเยนต์รีวิวโค้ดด้วย AI ที่อ้างอิงข้อมูลจริงจาก GitHub กว่า 100 ล้านรายการ เพื่อการประเมินที่แม่นยำและน่าเชื่อถือ

OmniExtractBench เป็นเบนช์มาร์กแบบเปิดตัวใหม่ที่เน้นความโปร่งใสในการดึงข้อมูลเอกสารจาก PDF สู่ JSON โดยใช้กลไกการจับคู่แถวตามเนื้อหาและระบบคำวินิจฉัย 6 รูปแบบเพื่อแก้ปัญหาความลำเอียง

ชาว Reddit ทึ่งกับประสิทธิภาพของ Claude Opus 5.5 ที่โชว์ทักษะวิศวกรรมออกแบบสะพานพลาสติกซึ่งรับน้ำหนักได้มากกว่าโมเดลอื่นหลายเท่าตัว

ชาว Reddit ถกเถียงกันหลังพบกราฟอัตราการโกงของ AI ลดลง โดยบางส่วนกังวลว่ามันอาจไม่ได้เลิกโกง แต่แค่ฉลาดพอที่จะโกงแบบไม่ให้โดนจับได้

Epoch AI และ MIT พบต้นทุนการทำคะแนนเบนช์มาร์ก AI ลดลงอย่างก้าวกระโดดจากความก้าวหน้าทางอัลกอริทึมและการแข่งขันที่สูงขึ้น แต่โมเดลรุ่นท็อปอาจมีค่าใช้จ่ายสูงขึ้นจากการใช้พลังประมวลผลที่มากขึ้น

สถาบันความปลอดภัย AI ของสหราชอาณาจักร (UK AISI) ร่วมกับพันธมิตร EvalEval เปิดเผยข้อมูลการทดสอบโมเดลภาษาขนาดใหญ่อย่างโปร่งใสผ่านโครงสร้างพื้นฐาน Every Eval Ever เพื่อแก้ปัญหาการทำซ้ำและตรวจสอบผลลัพธ์ Benchmark

Keenable AI เปิดตัว NEEDLE เบนช์มาร์กแบบ Live สำหรับทดสอบ Web Search API เพื่อแก้ปัญหา AI ท่องจำคำตอบจากชุดข้อมูลเก่า โดยระบบจะสร้างชุดคำถามใหม่จากแหล่งข้อมูลสดทุกชั่วโมง

เจาะลึกประสิทธิภาพ Voice Stack ทุกเลเยอร์ตั้งแต่ LLM ถึง Speech-to-Speech พร้อมชี้ให้เห็นว่า Time to First Token (TTFT) อาจไม่ใช่มาตรวัดที่สะท้อนประสบการณ์ผู้ใช้จริงได้ดีเท่ากับความเร็วในการสร้างประโยค

เจาะลึก 10 เครื่องมือวัดผลแบบ Open-source สำหรับประเมินความสามารถ AI Coding Agent ตั้งแต่การแก้บั๊กใน GitHub ไปจนถึงการเขียนโปรแกรมทั้งระบบและการใช้งาน Terminal ในสถานการณ์จริง

Qualcomm ทำการแก้ไขสไลด์นำเสนอชิป Snapdragon C โดยตัดผลการทดสอบด้านการประหยัดพลังงานในส่วนของแอปขณะไม่ได้ใช้งานและการท่องเว็บออกโดยไม่ระบุเหตุผลแน่ชัด

MiLM Plus จาก Xiaomi เปิดตัว PROVE เกณฑ์วัดประสิทธิภาพการลบวัตถุด้วย AI ที่เน้นความสอดคล้องทางสายตาโดยไม่ต้องใช้ภาพต้นฉบับอ้างอิง เพื่อแก้ปัญหาเกณฑ์วัดเดิมที่มักให้คะแนนผิดพลาด

Allen Institute for AI เปิดตัว TutorMoments พรีวิวเฟรมเวิร์กสำหรับประเมินโมเดลภาษา (LLMs) ในบทบาทครูสอนพิเศษ โดยเน้นจุดตัดสินใจสำคัญว่าโมเดลควรยื่นมือเข้าช่วยหรือผลักดันให้นักเรียนใช้ความคิดด้วยตัวเอง

Supabase เปิดตัว supabase/evals เฟรมเวิร์กโอเพนซอร์สสำหรับประเมินทักษะ AI coding agents เช่น Claude Code และ OpenCode ผ่านการรันงานบนระบบ Supabase จริงในคอนเทนเนอร์

Datalab ประกาศยกเครื่อง Marker ใหม่เป็นเวอร์ชัน 2 โดยทำคะแนนบน olmOCR-bench ได้สูงสุดถึง 76.0 พร้อมความเร็วเหนือกว่า MinerU ถึง 5 เท่า และเอาชนะ Docling ได้ทั้งในด้านประสิทธิภาพและคุณภาพการแปลงเอกสาร

เจาะลึกการใช้เฟรมเวิร์ก srt-slurm ของ NVIDIA เพื่อสร้างเวิร์กโฟลว์เบนช์มาร์กการให้บริการ LLM แบบกระจายบนระบบ SLURM ตั้งแต่การกำหนดค่าแบบ declarative ไปจนถึงการวิเคราะห์ประสิทธิภาพผ่าน Pareto frontier

Perplexity AI เปิดตัว WANDR ซึ่งเป็นเบนช์มาร์กแบบเปิดตัวใหม่ที่เน้นการประเมิน AI Research Agent ในการทำงานวิจัยที่ทั้งกว้างและลึกผ่านงานรวบรวมข้อมูลสมจริง 500 รายการ โดยมีการตรวจสอบหลักฐานอ้างอิงและรองรับโครงสร้างข้อมูลที่ซับซ้อน

OpenAI ตรวจสอบเกณฑ์มาตรฐานการเขียนโปรแกรม SWE-Bench Pro พบงานกว่า 30% บกพร่องและคลุมเครือ จนนำไปสู่การยกเลิกการรับรองเพื่อป้องกันความคลาดเคลื่อนในการประเมินความสามารถ AI