Google เปิดตัว Agile Deliberation เฟรมเวิร์กคัดกรองรูปภาพก้ำกึ่ง

Google Research เปิดตัว Agile Deliberation ซึ่งเป็นเฟรมเวิร์กแบบ human-in-the-loop สำหรับสร้างตัวจำแนกประเภทรูปภาพ (image classifiers) ตามแนวคิดที่เป็นนามธรรมและมีความหมายก้ำกึ่ง (subjective concepts) เช่น 'อาหารเพื่อสุขภาพ' หรือ 'ผลงานศิลปะที่สร้างแรงบันดาลใจ'

เครื่องมือตรวจสอบเนื้อหาทั่วไปมักทึกทักว่าผู้ใช้รู้ขอบเขตของแนวคิดที่ต้องการค้นหาอยู่แล้ว แต่ Agile Deliberation ออกแบบมาบนสมมติฐานว่าผู้ใช้เองก็อาจไม่ทราบแน่ชัด ระบบจึงเข้ามาช่วยค้นหาและกำหนดขอบเขตเหล่านั้นผ่านกระบวนการเรียนรู้ร่วมกัน

TL;DR

• เฟรมเวิร์ก: ทำงานผ่านการส่ง prompt ให้ Gemini 2.5 Pro และ Gemini 2.5 Flash ผ่าน API โดยไม่ต้องทำ fine-tuning
• รันบน: Jupyter หรือ Colab notebook ใช้ CLIP embeddings และดัชนี FAISS บน CPU หรือ GPU โดยดัชนีตัวอย่างเริ่มต้นที่ประมาณ 260 MB
• ประสิทธิภาพ: ค่า F1 สูงกว่า zero-shot Gemini 2.5 Flash เฉลี่ย 10.5 จุด จากการทดสอบสด 18 ครั้งใน 2 แนวคิดหลัก
• ผลลัพธ์ที่ดีที่สุด: ในหัวข้อ 'paid to play' ค่า F1 อยู่ที่ 0.59 (เทียบกับ 0.48 ในแบบ zero-shot) โดยค่า precision เพิ่มขึ้นถึง 22 จุด
• ข้อจำกัด: ค่า recall ลดลง 17 จุดในหัวข้อ 'paid to play' และลดลง 15 จุดในหัวข้อ 'อาหารเพื่อสุขภาพ'

Agile Deliberation คืออะไร?

Agile Deliberation เป็นเฟรมเวิร์กที่เปลี่ยนแนวคิดอันคลุมเครือให้กลายเป็นนิยามที่มีโครงสร้างและเป็นลายลักษณ์อักษร นิยามนี้จะทำหน้าที่เป็นทั้งนโยบายที่มนุษย์อ่านเข้าใจได้ และเป็น text prompt สำหรับ VLM classifier โดยระบบจะเก็บนิยามที่ให้ค่า F1 ดีที่สุดจากการติดป้ายกำกับ (labels) ของผู้ใช้ในแต่ละรอบไว้

ใน Stage 1 ระบบจะแยกแนวคิดย่อยออกมาไม่เกิน 3 หน่วย ผ่านกระบวนการ prompt chaining ด้วย Gemini 2.5 Pro แต่ละหน่วยจะแสดงตัวอย่างที่เป็นบวกและลบพร้อมรูปภาพประกอบ เช่น ในหัวข้ออาหารเพื่อสุขภาพ สิ่งที่เป็นบวกอาจเป็นสลัดหรือธัญพืช ส่วนสิ่งที่เป็นลบอาจเป็นอาหารแปรรูป ซึ่งผู้ใช้สามารถเลือกปรับปรุงหรือตัดทิ้งข้อมูลได้ตามต้องการ

การทำซ้ำแนวคิดค้นหารูปภาพก้ำกึ่งได้อย่างไร?

Stage 2 จะข้ามวิธีการสุ่มแบบความไม่แน่นอน (uncertainty sampling) แบบดั้งเดิม เนื่องจากตัวจำแนกประเภทเป็น VLM แบบ generative ที่คะแนนความมั่นใจมักไม่ได้รับการปรับจูน (uncalibrated) ระบบจึงเปลี่ยนมาใช้วิธีตามล่ารูปภาพที่มีความหมายก้ำกึ่งแทน

กระบวนการทำงานมี 4 ขั้นตอนหลัก:

1. Gemini 2.5 Flash เขียนคำค้นหา (queries) ที่ก้ำกึ่ง เช่น 'สลัดที่ใส่มายองเนสเยอะๆ' เพื่อดึงรูปภาพออกมา 50-100 ภาพ
2. กำจัดภาพซ้ำ เข้ารหัส และรวมกลุ่ม (clusters) ด้วย dictionary learning
3. ใช้ UCB multi-armed bandit เลือกกลุ่มภาพถัดไป โดยเน้นกลุ่มที่ผู้ใช้เคยแก้ไขหรือให้ข้อเสนอแนะไว้มาก
4. VLM สรุปแต่ละรูปภาพเป็นประโยคสั้นๆ ให้ผู้ใช้เห็นภาพที่มีความคลุมเครือในลักษณะเดียวกันพร้อมกันอย่างน้อย 5 รูป

ผู้ใช้จะทำการติดป้ายกำกับและเพิ่มบันทึกสั้นๆ ในจุดที่เห็นต่าง จากนั้น LLM จะแปลงบันทึกเหล่านั้นเป็นนิยามทางเลือก และใช้วิธีอัปเดตแบบ greedy เพื่อเลือกนิยามที่ได้คะแนนสูงสุดไว้

การประเมินผลและเปรียบเทียบประสิทธิภาพ เนื่องจากแนวคิดที่เป็นนามธรรมไม่มีความจริงเชิงประจักษ์ (ground truth) ที่แน่นอน ทีมวิจัยจึงรันการทดสอบสด 18 ครั้ง ครั้งละ 90 นาที โดยให้ผู้เข้าร่วม 9 คนที่ไม่มีประสบการณ์ตรวจสอบเนื้อหาทำการทดลอง เปรียบเทียบระหว่างการใช้ Agile Deliberation กับการพิจารณาด้วยตนเอง (manual deliberation)

ผลการทดสอบในแนวคิด 'paid to play' และ 'อาหารเพื่อสุขภาพ' พบว่า Agile Deliberation ให้ค่า F1 ที่สูงกว่าโมเดลอื่นๆ ในระดับเดียวกัน ดังตารางเปรียบเทียบ:

สำหรับนักพัฒนาที่ต้องการทดสอบ ในคลังเก็บโค้ดจะมี Demo.ipynb สำหรับตัวอย่างอาหารเพื่อสุขภาพ โดยต้องใช้ Gemini API key ร่วมกับ Gemini 2.5 Pro และ Flash ซึ่งรองรับการสร้างดัชนี FAISS บนข้อมูลขนาดใหญ่ได้ตั้งแต่ 260 MB ไปจนถึง 13 GB ตามปริมาณข้อมูลที่ใช้ โดยสรุป Agile Deliberation ช่วยให้ผู้ใช้ค้นพบขอบเขตของแนวคิดที่ซับซ้อนได้แม่นยำขึ้นโดยใช้แรงพยายามน้อยลง และให้ผลลัพธ์ที่มีประสิทธิภาพสูงกว่าการปรับแต่ง prompt ด้วยตนเองอย่างเห็นได้ชัด