Tencent เปิดตัว WeVisOne-VL โมเดล AI ครบวงจร ตรวจจับ-OCR-แบ่งภาพ

ทีม WeChat Vision ของ Tencent ได้เปิดตัว WeVisOne-VL โมเดลภาษาภาพ (Vision Language Model) แบบ Open Source ในขนาด 2B และ 4B โดยโมเดลนี้มีความสามารถที่หลากหลาย ทั้งการตรวจจับ (detection), การอ้างอิง (referring), การนับ (counting), การชี้จุด (pointing), OCR, การแบ่งส่วนภาพ (segmentation) ไปจนถึงการทำ alpha matting ได้ในตัวเดียว

จุดเด่นสำคัญอยู่ที่การมี pixel decoder ขนาด 9.6 ล้านพารามิเตอร์ ทำให้สามารถประมวลผลผลลัพธ์ในระดับพิกเซลได้โดยไม่จำเป็นต้องใช้โมเดล SAM แยกต่างหาก นอกจากนี้ยังมีความฉลาดในการตอบว่า “None” เมื่อวัตถุที่สอบถามไม่อยู่ในภาพ ช่วยให้นักพัฒนาสามารถใช้โมเดลตัวเดียวแทนที่ทั้ง detector, OCR engine และ segmenter ได้ทันที

TL;DR

• ขนาด: มีให้เลือกทั้ง 2B (2.44B params) และ 4B (4.83B params) บน Hugging Face พร้อม pixel decoder 9.6 ล้านพารามิเตอร์ รองรับบริบท (context) สูงสุด 8,192 tokens ระหว่างฝึกฝน
• การใช้งาน: รันบน GPU ตัวเดียวผ่าน Transformers หรือ vLLM ในรูปแบบ BF16 สำหรับไฟล์ GGUF จากชุมชนสามารถใช้งานระดับวัตถุได้บนการ์ดจอ RTX 2060 ขนาด 6 GB
• ประสิทธิภาพ: รายงานผลการทดสอบจากผู้พัฒนาระบุว่าเอาชนะ VLM baseline ในระดับเดียวกันได้มากกว่า 30 รายการ
• จุดเด่น: ทำคะแนนได้ 71.3 F1 Mean ในการตรวจจับแบบหนาแน่น Dense200 เทียบกับ 58.7 ของ LocateAnything-3B
• ข้อควรระวัง: มีอัตราการปฏิเสธ 52.6% ใน PR-Bench ซึ่งหมายความว่าการสอบถามวัตถุที่ไม่มีอยู่จริงบางครั้งยังคงให้ผลลัพธ์เป็นกรอบ (box) อยู่

WeVisOne-VL คืออะไร?

WeVisOne-VL หรือ “WeChat Vision All-in-One” เป็นโมเดลที่ Tencent พัฒนาต่อยอดจาก Qwen3-VL โดยมุ่งเน้นการระบุตำแหน่งที่ละเอียดแม่นยำมากกว่าการแชททั่วไป ผู้ใช้สามารถเลือกรูปแบบผลลัพธ์ได้หลากหลาย ทั้งการระบุจุด, ตีกรอบ (boxes), สร้าง binary masks หรือทำ alpha mattes ที่มีความต่อเนื่อง

กลไกการทำงานของ WeVisOne-VL

โมเดลกำหนดทุกงานเป็นการทำนาย next-token แบบมีโครงสร้าง โดยเพิ่ม coordinate tokens <0> ถึง <1000> สำหรับระบุกรอบและจุดที่ทำ normalized แล้ว หากไม่พบเป้าหมายจะแสดงผลเป็น None แทนการสุ่มเดากรอบ

สำหรับการประมวลผลระดับพิกเซล โมเดลจะส่งโทเคน <OBJ> ออกมาหลังการทำนายกรอบ โดยสถานะที่ซ่อนอยู่ (hidden state) จะถูกส่งต่อไปยัง pixel decoder ซึ่งประกอบด้วย 3 ส่วนหลัก ได้แก่ Visual Feature Adapter ที่นำฟีเจอร์จาก ViT มาใช้ซ้ำ, Box-Guided Query Decoder สำหรับประมวลผลตำแหน่ง และ Dense Prediction Head ที่ปรับแต่งผลลัพธ์ให้เป็น mask หรือ matte ความละเอียดสูง

เบื้องหลังการฝึกฝน

Tencent ใช้ data engine ที่ขับเคลื่อนด้วย knowledge-graph ในการทำ annotation รูปภาพกว่า 100 ล้านภาพ พร้อมกรอบวัตถุ 3.6 พันล้านกรอบ โดยใช้เครื่องมืออย่าง SAM3 และ Rex-Omni ช่วยในกระบวนการเตรียมข้อมูล

การฝึกฝนแบ่งเป็น 3 ขั้นตอน เริ่มจากการปรับรูปแบบการแสดงผล (SFT), เพิ่มอินพุต visual tokens และปิดท้ายด้วยการฝึก pixel decoder ให้เชี่ยวชาญด้าน matting รวมถึงการใช้เทคนิค GRPO เพื่อกรองความไม่แน่นอนของข้อมูลให้มีความแม่นยำสูงสุด

ประสิทธิภาพบนเกณฑ์มาตรฐาน

จากรายงานของผู้พัฒนา WeVisOne-VL ทำผลงานได้น่าประทับใจในหลายด้าน:

• Detection: ได้ 55.3 F1 บน LVIS และ 71.3 บน Dense200 (โมเดล 4B)
• Referring: ทำได้ 81.8 F1 ใน RefCOCOg ชนะ LocateAnything-3B ที่ได้ 77.6
• OCR: ทำได้ 52.0 F1 บน TotalText นำหน้า PP-OCRv5 ที่ได้ 25.7
• Matting: ได้ 7.3 MAD บน P3M-500-NP ซึ่งดีกว่า SAM2-Matting (ยิ่งต่ำยิ่งดี)

ตารางเปรียบเทียบ WeVisOne-VL และคู่แข่ง

วิธีเริ่มใช้งาน

นักพัฒนาสามารถดาวน์โหลด Weights ได้จาก Hugging Face ผ่านแพ็กเกจ wevisone_vl ซึ่งรองรับทั้งการตรวจจับ, OCR และการทำ Matting

from wevisone_vl import WeVisOneVL
model = WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers") # หรือ "vllm"
result = model.predict(image, task="matting", query="person")

ปัจจุบัน Tencent ได้เปิดตัวเดโมและซอร์สโค้ด Mask2Alpha สำหรับการทำ matting annotation แล้ว ส่วนโค้ดสำหรับการทำ fine-tuning อยู่ในระหว่างการพัฒนาเพิ่มเติม ทั้งนี้ไฟล์รูปแบบ GGUF จะไม่สามารถสร้าง masks ได้เนื่องจากข้อจำกัดด้านโครงสร้างของ decoder