Perplexity AI เปิดตัว WANDR เบนช์มาร์กแบบเปิดเพื่อประเมิน AI Research Agent ในงานวิจัยที่ทั้งกว้างและลึก

ปัจจุบัน Research agent เริ่มเข้ามามีบทบาทในงานความรู้ระดับโลกจริงมากขึ้น โดยทีมงานต่างมอบหมายงานตั้งแต่วางแผนการแข่งขัน ตรวจสอบกิจการ (due diligence) ไปจนถึงการทบทวนวรรณกรรม อย่างไรก็ตาม เบนช์มาร์กส่วนใหญ่ในปัจจุบันกลับทดสอบเพียงการตอบคำถามเดียว ไม่ใช่การจัดการชุดข้อมูลขนาดใหญ่ที่มีหลักฐานสนับสนุน Perplexity จึงต้องการปิดช่องว่างนี้ด้วยการเปิดตัวเบนช์มาร์กแบบเปิดตัวใหม่

Perplexity ได้แนะนำ WANDR (Wide ANd Deep Research) ซึ่งเป็นเบนช์มาร์กและระบบประเมินผล (evaluation harness) ที่สร้างขึ้นจากงานรวบรวมข้อมูลที่ท้าทายและสมจริงจำนวน 500 รายการ โดย WANDR จะเน้นการทดสอบฝั่ง "ความกว้าง" ซึ่งเป็นส่วนเติมเต็มให้กับเบนช์มาร์ก DRACO ของ Perplexity ที่เน้นการวิจัยเชิงลึก (deep research) หาก DRACO คือการประเมินว่า AI สามารถเขียนรายงานฉบับยาวที่ถูกต้องและครบถ้วนได้หรือไม่ WANDR ก็คือการทดสอบว่า AI จะสามารถสร้างชุดข้อมูลขนาดใหญ่พร้อมหลักฐานอ้างอิงได้จริงหรือไม่นั่นเอง

WANDR คืออะไร

หัวใจสำคัญของ WANDR คือการทดสอบสมรรถนะสองด้านพร้อมกัน โดยคำว่า Wide (กว้าง) หมายถึงการค้นหาเอนทิตีที่ตรงเงื่อนไขจำนวนมากซึ่งมักเป็นคำถามปลายเปิด ส่วน Deep (ลึก) หมายถึงการสืบค้นทุกเอนทิตีให้ลึกพอที่จะมีหลักฐานสนับสนุนทุกข้ออ้าง การรวมสองส่วนนี้เข้าด้วยกันทำให้เกิดความท้าทายใหม่ เพราะการหาตัวอย่างที่น่าเชื่อถือเพียงไม่กี่ชิ้นนั้นไม่เพียงพอ และการเขียนบรรยายที่สละสลวยแต่ขาดการวิจัยที่สมบูรณ์จะถือว่าสอบตกทันที เพื่อวัดผลให้ชัดเจน WANDR ใช้โครงสร้างที่เรียกว่า ลำดับชั้นคีย์คุณสมบัติ (qualification key hierarchy) เช่น งานหนึ่งอาจกำหนดเงื่อนไขเป็น company(n) -> employee(m) -> url(k) หมายถึงต้องหาสิริษัท n แห่ง พนักงานแต่ละแห่ง m คน และหน้าเว็บสนับสนุน k หน้า โดยข้อมูลทุกเส้นทางจะต้องได้รับการตรวจสอบอย่างเป็นอิสระ โครงสร้างนี้สามารถปรับใช้ได้ทั้งรายการแบบแบน (flat list) การค้นหาซ้อนชั้น (nested search) หรือในรูปแบบเมทริกซ์ (matrix)

ตัวอย่างงานที่เป็นรูปธรรม เพื่อให้เห็นภาพชัดเจนขึ้น ลองพิจารณางาน ceo_cfo_appointments ที่สั่งให้ค้นหาบริษัทในสหรัฐฯ อย่างน้อย 70 แห่งที่มีการประกาศแต่งตั้ง CEO หรือ CFO ในช่วงวันที่ 1 มีนาคม ถึง 30 เมษายน 2026 โดย AI จะต้องหาหน้าเว็บที่เชื่อถือได้ยืนยันการแต่งตั้ง 1 หน้า และหน้ายืนยันการจดทะเบียนบริษัทอีก 1 หน้า รวมแล้วงานนี้ต้องการบันทึกที่มีแหล่งข้อมูลสนับสนุนถึง 140 รายการ

ตัวอย่างโค้ดแสดงลำดับชั้นและการบันทึกข้อมูลจะมีลักษณะดังนี้:

# Task hierarchies
company(70) -> company_appointee(1) -> url(1) # 70 appointment records
company(70) -> url(1) # 70 listing records
# One record the grader re-fetches and re-checks (values are illustrative)
{
"item": "Example Corp - new CFO",
"url": "https://issuer.example.com/press/cfo-appointment",
"excerpts": ["Example Corp today named Jane Doe as Chief Financial Officer, effective April 2026."],
"answer": "Jane Doe appointed CFO; announced April 2026"
}

งานที่สมจริง สร้างขึ้นในระดับสเกล

WANDR ไม่ได้ใช้พรอมต์ที่สังเคราะห์ขึ้น แต่สร้างงานจากข้อมูลการใช้งานจริงที่ลบตัวตนออกแล้ว ผ่านกระบวนการกึ่งอัตโนมัติ 4 ขั้นตอน ได้แก่ seeding, authoring, admission และ curation โดยใช้ระบบตรวจสอบแบบ author-critic สลับชั้นร่วมกับการตรวจโค้ด (linting) โดยเครื่องจักร เพื่อให้ได้งานที่มีคุณภาพสูงสุด

จากการประมวลผลพบว่า งานในระดับมัธยฐานจะต้องการข้อมูลสมาชิก 50 รายการ และบันทึกรวม 245 รายการ โดยงานทั้ง 500 รายการใน WANDR เรียกหาบันทึกที่มีแหล่งอ้างอิงสนับสนุนรวมถึง 170,495 รายการ แบ่งระดับความยากออกเป็น ต่ำ ปานกลาง และสูง อย่างละเท่าๆ กัน โดยความยากจะวัดจากภาระงานต่อหนึ่งบันทึก ไม่ใช่แค่จำนวนข้อมูลรวมเพียงอย่างเดียว

วิธีที่ WANDR ให้คะแนน Agent

WANDR ไม่ได้ใช้เฉลยที่ตายตัวแต่จะตรวจให้คะแนนโดยเทียบกับหลักฐานที่อ้างอิงมา ทุกบันทึกต้องประกอบด้วยรายการ URL และข้อความคัดลอก (excerpts) โดยระบบ Grader จะทำการดึงข้อมูลจากหน้าเว็บนั้นใหม่เพื่อตรวจสอบว่าลิงก์ยังใช้งานได้จริงและมีเนื้อหาครบถ้วนตามความต้องการหรือไม่

การตัดสินใจจะออกมาเป็นรูปแบบไบนารี (ผ่าน/ไม่ผ่าน) แล้วนำมารวมคะแนนเป็น Precision เพื่อวัดคุณภาพ และ Recall สำหรับวัดความครบถ้วน คะแนนยังแบ่งเป็นแบบ Soft ที่ให้แต้มบางส่วนสำหรับข้อมูลที่ไม่สมบูรณ์ และแบบ Hard ที่จะนับคะแนนให้เฉพาะเมื่อทุกส่วนในโครงสร้างย่อยถูกต้องทั้งหมดเท่านั้น

ผลลัพธ์ของเบนช์มาร์ก

Perplexity ได้ทดสอบระบบที่ใช้งานจริง 6 ระบบกับงานทั้งหมด 500 รายการ พบว่าระบบ Search as Code (SaC) ของตนเองทำคะแนนได้ดีที่สุด แต่ถึงอย่างนั้นก็ยังไม่มีระบบใดที่สามารถแก้โจทย์ในเบนช์มาร์กนี้ได้อย่างสมบูรณ์

จากการทดสอบเพิ่มเติม พบว่าหากเพิ่มความพยายามในระดับ xhigh Perplexity สามารถดันคะแนนขึ้นไปถึง 0.447 soft F1 อย่างไรก็ตาม ต้นทุนในการรันงานมีความแตกต่างกันมหาศาล ตั้งแต่ 0.03 ดอลลาร์ ไปจนถึงสูงสุดที่ 324.83 ดอลลาร์ต่อหนึ่งงาน

การวิจัยครั้งนี้พบประเด็นสำคัญ 4 ประการ: หนึ่งคือระบบส่วนใหญ่มีความแม่นยำ (precision) สูงแต่ความครบถ้วน (recall) ต่ำ สองคือยิ่งข้อมูลมีลำดับชั้นลึกเท่าไหร่ โอกาสที่ระบบจะล้มเหลวก็ยิ่งสูงขึ้น สามคือคอขวดสำคัญอยู่ที่ขั้นตอนการค้นหา (discovery) ซึ่งเกิดจากการส่งข้อมูลไม่ครบเป็นหลัก และสี่คือการหาหน้าเว็บที่ใช้งานได้นั้นง่าย แต่การสกัดหลักฐานที่สมบูรณ์เป็นเรื่องยาก โดยพบว่า 57.5% ของข้อความคัดลอกไม่สามารถสนับสนุนข้ออ้างได้ครบถ้วน

ทั้งนี้ รูปแบบ Search as Code พิสูจน์แล้วว่าเหมาะกับงานลักษณะนี้มาก เนื่องจาก agent สามารถเขียนตรรกะการดึงข้อมูลและกรองข้อมูลซ้ำออกมาเป็นโปรแกรมได้ ทำให้การประมวลผลมีความแม่นยำสูงกว่าการใช้โมเดลเพียงอย่างเดียว

กรณีการใช้งานพร้อมตัวอย่าง

ในเชิงปฏิบัติ WANDR จำลองงานที่หลายองค์กรเริ่มใช้ระบบอัตโนมัติอยู่แล้ว เช่น นักวิเคราะห์ตลาดที่ต้องการข้อมูลคู่แข่งทั้งหมดพร้อมหลักฐานประกอบ ทีมตรวจสอบกิจการที่ต้องการข้อมูลผู้บริหารและการเงิน หรือทีมสรรหาบุคลากรที่ต้องการโปรไฟล์ผู้สมัครจำนวนมาก WANDR จึงทำหน้าที่เป็นเครื่องมือทดสอบประสิทธิภาพในระดับมืออาชีพได้อย่างเจาะจง

ด้วยระบบการให้คะแนนแบบรายบันทึก ทีมพัฒนาจะสามารถระบุจุดอ่อนได้แม่นยำว่าระบบล้มเหลวที่ขั้นตอนใด ไม่ว่าจะเป็นการค้นหาข้อมูล การเพิ่มรายละเอียด หรือการสกัดหลักฐาน ซึ่งช่วยให้วิศวกรปรับปรุงระบบได้อย่างตรงจุด

ประเด็นสำคัญ

• WANDR คือเบนช์มาร์กแบบเปิดที่เน้นงานวิจัยกว้างและลึกรวม 500 รายการ
• ใช้ระบบตรวจแยกตามระดับชั้นข้อมูล (path-by-path verification)
• ให้คะแนนแบบตรวจสอบหลักฐานสด (reference-free) โดยการดึงหน้าเว็บใหม่มาเช็คจริง
• ปัจจุบัน Perplexity Search as Code ครองอันดับหนึ่งด้วยคะแนน 0.363 soft F1
• ความท้าทายหลักยังคงอยู่ที่ขั้นตอนการค้นหาและการระบุหลักฐานให้ครบถ้วน

ตรวจสอบ ** รายละเอียดทางเทคนิค** และ

นอกจากนี้ อย่าลังเลที่จะติดตามเราได้ที่