tag: Benchmark

Keenable AI เปิดตัว NEEDLE เบนช์มาร์กแบบ Live สำหรับทดสอบ Web Search API เพื่อแก้ปัญหา AI ท่องจำคำตอบจากชุดข้อมูลเก่า โดยระบบจะสร้างชุดคำถามใหม่จากแหล่งข้อมูลสดทุกชั่วโมง

เจาะลึกประสิทธิภาพ Voice Stack ทุกเลเยอร์ตั้งแต่ LLM ถึง Speech-to-Speech พร้อมชี้ให้เห็นว่า Time to First Token (TTFT) อาจไม่ใช่มาตรวัดที่สะท้อนประสบการณ์ผู้ใช้จริงได้ดีเท่ากับความเร็วในการสร้างประโยค

เจาะลึก 10 เครื่องมือวัดผลแบบ Open-source สำหรับประเมินความสามารถ AI Coding Agent ตั้งแต่การแก้บั๊กใน GitHub ไปจนถึงการเขียนโปรแกรมทั้งระบบและการใช้งาน Terminal ในสถานการณ์จริง

Qualcomm ทำการแก้ไขสไลด์นำเสนอชิป Snapdragon C โดยตัดผลการทดสอบด้านการประหยัดพลังงานในส่วนของแอปขณะไม่ได้ใช้งานและการท่องเว็บออกโดยไม่ระบุเหตุผลแน่ชัด

MiLM Plus จาก Xiaomi เปิดตัว PROVE เกณฑ์วัดประสิทธิภาพการลบวัตถุด้วย AI ที่เน้นความสอดคล้องทางสายตาโดยไม่ต้องใช้ภาพต้นฉบับอ้างอิง เพื่อแก้ปัญหาเกณฑ์วัดเดิมที่มักให้คะแนนผิดพลาด

Allen Institute for AI เปิดตัว TutorMoments พรีวิวเฟรมเวิร์กสำหรับประเมินโมเดลภาษา (LLMs) ในบทบาทครูสอนพิเศษ โดยเน้นจุดตัดสินใจสำคัญว่าโมเดลควรยื่นมือเข้าช่วยหรือผลักดันให้นักเรียนใช้ความคิดด้วยตัวเอง

Supabase เปิดตัว supabase/evals เฟรมเวิร์กโอเพนซอร์สสำหรับประเมินทักษะ AI coding agents เช่น Claude Code และ OpenCode ผ่านการรันงานบนระบบ Supabase จริงในคอนเทนเนอร์

Datalab ประกาศยกเครื่อง Marker ใหม่เป็นเวอร์ชัน 2 โดยทำคะแนนบน olmOCR-bench ได้สูงสุดถึง 76.0 พร้อมความเร็วเหนือกว่า MinerU ถึง 5 เท่า และเอาชนะ Docling ได้ทั้งในด้านประสิทธิภาพและคุณภาพการแปลงเอกสาร

เจาะลึกการใช้เฟรมเวิร์ก srt-slurm ของ NVIDIA เพื่อสร้างเวิร์กโฟลว์เบนช์มาร์กการให้บริการ LLM แบบกระจายบนระบบ SLURM ตั้งแต่การกำหนดค่าแบบ declarative ไปจนถึงการวิเคราะห์ประสิทธิภาพผ่าน Pareto frontier

Perplexity AI เปิดตัว WANDR ซึ่งเป็นเบนช์มาร์กแบบเปิดตัวใหม่ที่เน้นการประเมิน AI Research Agent ในการทำงานวิจัยที่ทั้งกว้างและลึกผ่านงานรวบรวมข้อมูลสมจริง 500 รายการ โดยมีการตรวจสอบหลักฐานอ้างอิงและรองรับโครงสร้างข้อมูลที่ซับซ้อน

OpenAI ตรวจสอบเกณฑ์มาตรฐานการเขียนโปรแกรม SWE-Bench Pro พบงานกว่า 30% บกพร่องและคลุมเครือ จนนำไปสู่การยกเลิกการรับรองเพื่อป้องกันความคลาดเคลื่อนในการประเมินความสามารถ AI