tag: LLM Benchmark

ThinkingBox: เมื่อ AI Agent บอกว่าเสร็จ แต่ฐานข้อมูลบอกว่าไม่ใช่

ThinkingBox: เมื่อ AI Agent บอกว่าเสร็จ แต่ฐานข้อมูลบอกว่าไม่ใช่

· By: NatapolK
Microsoft และ Hugging Face เปิดตัว ThinkingBox เกณฑ์วัดความน่าเชื่อถือของ AI agent จากผลลัพธ์ในฐานข้อมูลจริง แทนการดูเพียงคำตอบหรือการเรียกใช้เครื่องมือ พร้อมทดสอบความสม่ำเสมอด้วยการรันซ้ำ 20 ครั้ง
BenchMIRT: เจาะลึกความจริงเบื้องหลังคะแนน Benchmark ของ LLM

BenchMIRT: เจาะลึกความจริงเบื้องหลังคะแนน Benchmark ของ LLM

BenchMIRT เป็นเทคโนโลยีใหม่ที่ใช้ระบบ multidimensional IRT เพื่อวิเคราะห์ระดับรายข้อคำถามว่าโมเดลภาษาขนาดใหญ่ (LLM) มีทักษะด้านความปลอดภัยหรือการใช้เหตุผลจริงตามที่ชื่อ Benchmark ระบุไว้หรือไม่