Datalab เปิดตัว OmniParseBench: Benchmark ใหม่ทดสอบ OCR Parser

Datalab เปิดตัว OmniParseBench เครื่องมือทดสอบประสิทธิภาพ (Benchmark) แบบเปิดสำหรับ Document Parser โดยใช้เกณฑ์ตัดสินแบบ Yes/No จำนวน 16,288 รายการ จากหน้าเอกสาร 2,937 หน้า ในเอกสารรวม 2,343 ฉบับ ครอบคลุมถึง 92 ภาษา

ปัจจุบันทั้ง dataset และ code ได้เปิดเผยต่อสาธารณะแล้ว เพื่อช่วยให้วิศวกรวิเคราะห์ได้ชัดเจนกว่า Leaderboard ทั่วไปว่า Parser ตัวไหนเหมาะกับประเภทเอกสารที่ใช้งานอยู่มากที่สุด ทั้งนี้ Datalab ซึ่งจำหน่าย Parser ของตัวเองด้วย ระบุว่าโมเดลรุ่น Datalab accurate ของพวกเขามีคะแนนเป็นอันดับสอง รองจาก Gemini 3.8 Flash ในช่วงเปิดตัว

OmniParseBench คือชุดเครื่องมือวัดผล (Evaluation harness) ไม่ใช่ตัวโมเดล สามารถติดตั้งได้ง่ายผ่าน uv pip install omni-parse-bench โดยต้องการ Python 3.11 ขึ้นไป จุดเด่นคือสามารถให้คะแนน Output แบบ Offline ได้โดยไม่ต้องใช้ API key

TL;DR

ขนาด: ทดสอบ 16,288 รายการ จาก 2,937 หน้า ใน 2,343 เอกสาร แบ่งเป็น 22 ชุด ครอบคลุม 92 ภาษา
การรันระบบ: ใช้ได้กับทุกเครื่องที่มี Python 3.11+ โดยการให้คะแนนไม่ต้องต่อเครือข่าย ยกเว้นการรันผ่าน Vendor ที่ต้องใช้ API key
ประสิทธิภาพ: กลุ่มผู้นำ 3 อันดับแรกมีคะแนนห่างกันไม่เกิน 1.3 จุด
ผู้นำในตลาด: Gemini 3.8 Flash ครองอันดับหนึ่งด้วยคะแนน 92.9 ตามด้วย Datalab accurate ที่ 92.7*
สรุปเนื้อหา: คะแนนวัดจากสัดส่วนการทดสอบที่ผ่าน (Pass Rate) ซึ่งสามารถแยกดูตาม Tag เพื่อวิเคราะห์เจาะจงได้

*โมเดลนี้ถูกใช้ในการสร้างชุดทดสอบบางส่วน

OmniParseBench คืออะไร?

OmniParseBench คือ Benchmark สำหรับประมวลผลเอกสารจาก Datalab โดยเปลี่ยนทุกการทดสอบให้เป็นคำถามแบบ Yes/No เกี่ยวกับเอกสารแต่ละหน้า คะแนนของ Parser จึงมาจากสัดส่วนการทดสอบที่ผ่านจริง ทำให้มีความชัดเจน ตรวจสอบย้อนกลับได้ และวิเคราะห์ข้อมูลเชิงลึกได้ง่าย

ทำไมต้องสร้าง OCR benchmark ขึ้นมาอีกอัน?

Datalab พบข้อจำกัดใน Benchmark เดิมอย่าง olmOCR-bench ที่เริ่มถึงจุดอิ่มตัว โดยระบบชั้นนำมักถูกตัดสินด้วยรูปแบบ Output หรือการ Overfitting มากกว่าความสามารถในการอ่านจริง นอกจากนี้ยังพบปัญหาการนำข้อมูลต่างประเภทมาเฉลี่ยรวมกันจนขาดความชัดเจน

ส่วน ParseBench จาก LlamaIndex แม้จะแบ่งความสามารถเป็น 5 ด้าน แต่ใช้หน่วยวัด (Metric) ที่ต่างกัน ทำให้ยากต่อการเปรียบเทียบหรือรวมคะแนนเข้าด้วยกันอย่างเป็นรูปธรรม

การให้คะแนนของ OmniParseBench ทำงานอย่างไร?

คะแนนรวมมาจากค่าเฉลี่ยของ 3 กลุ่มหลัก ได้แก่ ข้อความ (Text), ตาราง (Tables) และเลย์เอาต์ (Layout) ผ่านประเภทการทดสอบ 5 รูปแบบ:

present: ตรวจสอบการปรากฏของข้อความ ตัวเลข หรือสมการ
order: ตรวจสอบลำดับก่อนหลังของข้อความ
repeat: ตรวจสอบจำนวนครั้งที่บรรทัดปรากฏ
table_cell: ตรวจสอบตำแหน่งเซลล์ในตารางเทียบกับข้อมูลข้างเคียง
layout_kind: ตรวจสอบประเภทของบล็อกข้อมูลว่าเป็นหัวข้อ ข้อความ หรือตาราง

เกณฑ์การตัดสินมีความเข้มงวด ตัวเลขต้องตรงกันทุกหลัก (แม้จะอนุโลมรูปแบบลูกน้ำ) ส่วนสมการจะเปรียบเทียบผ่านการเรนเดอร์ของ KaTeX การตัดสินมี 4 สถานะคือ Pass, Fail, Unsupported หรือ Error โดยสองอย่างหลังจะไม่นำมาคิดคะแนน และที่สำคัญคือไม่มีการใช้ AI Model มาเป็นผู้ตัดสิน เนื่องจากตัวให้คะแนนเป็นโอเพนโค้ดที่โปร่งใส

ระบบ Tag และที่มาของข้อมูล

ชุดทดสอบแต่ละรายการจะกำกับด้วย Tag ใน 5 แกนหลัก ได้แก่ โครงสร้าง, การเรนเดอร์, บทบาท, Script และภาษา (อ้างอิงรหัสมาตรฐาน ISO) แม้ Tag จะไม่ส่งผลต่อคะแนนหลัก แต่ช่วยให้ผู้ใช้สามารถเลือกกรองข้อมูล (Slice) เพื่อดูคะแนนเฉพาะส่วนที่สนใจได้

ตัวอย่างเช่น Tag ด้านตารางมีการทดสอบ 6,767 รายการ ส่วนด้านภาษาอังกฤษมีการทดสอบ 10,089 รายการ ในขณะที่ภาษาอื่นๆ มี 1,931 รายการ นอกจากนี้ยังมีการบันทึกที่มาของคำตอบ (Derivation) จาก 10 แหล่งข้อมูล เช่น JATS XML, PDF Text layer ไปจนถึงการตรวจสอบโดยมนุษย์

ผลลัพธ์ช่วงเปิดตัวของ OmniParseBench

Parser	Headline	Text	Tables	Layout
Gemini 3.8 Flash*	92.9	91.3	95.2	92.2
Datalab accurate	92.7	90.8	91.8	95.6
Datalab balanced	91.6	90.0	89.2	95.5
Reducto	90.8	85.4	91.2	95.8
LlamaParse	90.4	88.2	92.6	90.4
Mistral OCR	89.5	82.8	91.9	93.8
Claude Sonnet 5.5*	88.7	93.1	95.4	77.5
GPT-5.6 Sol	87.8	85.4	91.6	86.5
Extend	83.3	64.1	92.5	93.4
Azure	83.0	74.6	81.7	92.8
Tesseract	none	17.6	0.0	unsupported

*หมายเหตุ: * มีการใช้โมเดลช่วยสร้างและตรวจสอบชุดทดสอบบางส่วน

Claude Sonnet 5.5 ทำคะแนนได้ยอดเยี่ยมในส่วนข้อความและตาราง แต่คะแนนเลย์เอาต์ดึงอันดับรวมลงมา ในขณะที่ Reducto เป็นผู้นำด้านเลย์เอาต์ นอกจากนี้ Datalab ยังวิเคราะห์ความสัมพันธ์ระหว่างคะแนนหลักกับความหน่วง (Latency) และราคาต่อ 1,000 หน้า เพื่อให้ผู้ใช้ตัดสินใจได้คุ้มค่าที่สุด โดย Datalab ย้ำว่า Benchmark ที่ดีที่สุดคือเอกสารจริงของผู้ใช้งานเอง

วิธีการรัน OmniParseBench

uv pip install omni-parse-bench                 # score(): ไม่ต้องใช้เครือข่ายและ API key
uv pip install 'omni-parse-bench[harness]'      # เพิ่ม Vendor adapters สำหรับการทำนาย
uv pip install 'omni-parse-bench[benchmark]'    # เพิ่มการเข้าถึง dataset สำหรับรัน benchmark
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

สำหรับการใช้งานผ่าน Vendor จำเป็นต้องใช้ Key เช่น DATALAB_API_KEY โดยระบบ CLI จะแจ้งแผนการทำงานก่อนเริ่ม และสามารถรันต่อจากจุดเดิมได้หากมีการหยุดชะงัก

ตารางเปรียบเทียบ OmniParseBench กับมาตรฐานอื่น

คุณสมบัติ	OmniParseBench	olmOCR-bench	ParseBench	OmniDocBench
ผู้ดูแล	Datalab	Ai2	LlamaIndex	OpenDataLab
จำนวนการทดสอบ	16,288	7,010	169,011 กฎ	1,651 หน้า PDF
ภาษา	92 ภาษา	อังกฤษ	ไม่เปิดเผย	5 ประเภทภาษา
หน่วยให้คะแนน	Pass/fail (เฉลี่ย 3 กลุ่ม)	Pass/fail รายย่อย	5 มิติแยกกัน	ภาพรวม Text/Table/Formula
Model judge	ไม่มี	ไม่มี	ไม่มี (เป็นตัวเลือก)	ไม่มี
การติด Tag	แยกตามโครงสร้าง/ภาษา	7 หมวดหมู่แหล่งที่มา	5 มิติความสามารถ	คุณลักษณะหน้า/ตาราง
สัญญาอนุญาต	Apache 2.0 / CC BY 4.0	ODC-BY 1.0	Apache 2.0	Apache 2.0 (วิจัยเท่านั้น)

ประเด็นสำคัญ

ทดสอบแบบ Yes/No 16,288 รายการ ครอบคลุม 92 ภาษา
คะแนนตัดสินจากอัตราการผ่านในด้านข้อความ, ตาราง และเลย์เอาต์
ใช้ระบบ Tag เพื่อเจาะลึกข้อมูล แต่ไม่กระทบต่อเกณฑ์การตัดสินหลัก
Gemini 3.8 Flash นำเป็นอันดับหนึ่ง (92.9) ตามด้วย Datalab accurate (92.7)
เป็นโอเพนซอร์ส (Apache 2.0) และให้คะแนนได้แบบ Offline

ศึกษาข้อมูลเพิ่มเติมได้ที่ Blog post, Dataset และ GitHub repository ของโครงการ