Adobe พัฒนา EditAgent ระบบ AI แก้ไขภาพแม่นยำระดับมืออาชีพ

Image description

ประเด็นสำคัญ

Adobe Research และ UC San Diego ร่วมกันพัฒนา EditAgent ระบบ AI ที่สามารถแบ่งขั้นตอนการแต่งภาพย่อยๆ และเลือกใช้เครื่องมือเฉพาะทาง เช่น การเพิ่มความคมชัดหรือการซูม ได้อย่างเหมาะสมแทนการใช้เครื่องมือทั่วไปเพียงอย่างเดียว
ระบบใช้โมเดลภาษามาตรฐาน (VLM) ประเมินผลลัพธ์จากการสร้างภาพหลายรูปแบบขนานกัน โดยวิเคราะห์จากสถิติที่วัดค่าได้และการตัดภาพเฉพาะส่วน ซึ่งทำผลงานได้ดีกว่าโมเดลที่ฝึกฝนมาเพื่อประเมินภาพโดยเฉพาะ
แม้ EditAgent จะให้ผลลัพธ์ที่แม่นยำสูงกว่า AI agent รุ่นก่อนๆ แต่ต้องแลกกับการใช้ทรัพยากรประมวลผล (compute) เพิ่มขึ้นถึง 10 เท่า อย่างไรก็ตาม ข้อมูลที่ผ่านการตรวจสอบแล้วสามารถนำไปใช้ฝึกฝนโมเดลอื่นให้ทำงานเร็วขึ้นได้

นักวิจัยจาก Adobe พัฒนา AI agent สำหรับการแก้ไขรูปภาพที่ชาญฉลาดขึ้น โดยการจับคู่เครื่องมือแก้ไขทั่วไปเข้ากับเครื่องมือเฉพาะทาง พร้อมใช้โมเดลภาษามาตรฐานเป็นผู้ตัดสินผลลัพธ์จากข้อมูลเชิงสถิติเพื่อให้ได้ภาพที่สมบูรณ์ที่สุด โดยปกติแล้ว AI agent สำหรับแก้ไขภาพจะแบ่งคำสั่งซับซ้อนเป็นขั้นตอน และมักจะพยายามใช้เครื่องมือเดิมซ้ำๆ เมื่อเกิดความผิดพลาด ขณะที่โมเดลตัดสินผลลัพธ์มักจะใช้การประเมินด้วยสายตาเท่านั้น

ทีมวิจัยจาก Adobe Research และ UC San Diego จึงได้นำเสนอ EditAgent ผ่าน เอกสารวิจัยฉับใหม่ ซึ่งเป็นระบบที่ทำงานเลียนแบบผู้เชี่ยวชาญใน Photoshop โดยจะเลือกเครื่องมือที่เหมาะสมที่สุดในแต่ละงาน และเปรียบเทียบผลลัพธ์กับภาพต้นฉบับด้วยตัวเลขที่จับต้องได้

Overview graphic comparing typical agentic image editing with EditAgent across three columns: Action Space, Observation Space, and Result. The top row shows repeated attempts with the same tools, while the bottom row shows parallel candidates from General, Local, Tone, and Style tools, judged by an off-the-shelf VLM using evidence in a single call.

เครื่องมือทั่วไปมักตกม้าตายในงานที่ซับซ้อน

จากการทดสอบแก้ไขภาพ 600 ครั้งที่ผ่านการให้คะแนนโดยผู้เชี่ยวชาญห้าคน พบว่าเครื่องมือทั่วไปอย่าง Flux-2-Klein-9B ไม่สามารถสร้างผลลัพธ์ที่ใช้งานได้จริงถึงร้อยละ 42.7 แต่เครื่องมือเฉพาะทางสามารถเข้ามาแก้ปัญหานี้ได้ถึง 2 ใน 3 โดยเฉพาะงานเพิ่มความคมชัด การหมุนภาพ และการซูม ซึ่งการพยายามใช้เครื่องมือเดิมซ้ำๆ แทบไม่ช่วยให้ผลลัพธ์ดีขึ้น

นอกจากนี้ งานวิจัยยังพบว่าผู้เชี่ยวชาญกว่าร้อยละ 78.5 ชื่นชอบการสร้างตัวแปรของภาพหลายรูปแบบขนานกันจากภาพต้นฉบับ มากกว่าการปรับแต่งทีละขั้นตอน (iterative refinement) ซึ่งมักเกิดข้อผิดพลาดเล็กๆ สะสมในทุกรอบที่แก้ไข EditAgent จึงถูกออกแบบมาเพื่อรองรับการทำงานแบบขนานนี้

ตัดสินด้วยตัวเลขที่ชัดเจนเพื่อผลลัพธ์ที่เหนือกว่า

ในแต่ละขั้นตอน EditAgent จะให้เครื่องมือทั่วไปและเครื่องมือเฉพาะทางประชันผลงานกัน จากนั้นโมเดลภาษามาตรฐานจะทำหน้าที่เป็นผู้ตัดสินโดยการตรวจสอบตัวแปรทั้งหมดในครั้งเดียว

Architecture diagram of EditAgent using the example of extinguishing a candle flame. Planner, Step Analyzer, and Router select methods from the Capability Pool. Three candidates are generated in parallel with close-ups and change maps as evidence, and a VLM accepts candidate 3. Below, the steps Remove Flame, Add Smoke, and Adjust Lighting follow in sequence.

โมเดลจะได้รับข้อมูลประกอบการตัดสินใจ ทั้งภาพระยะใกล้ในจุดที่แก้ไข แผนที่การเปลี่ยนแปลง (change map) และค่าสถิติความสว่างและสี ตัวอย่างเช่น หากต้องเพิ่มความสว่างอย่างนุ่มนวล ข้อมูลจะฟ้องทันทีหากเครื่องมือทั่วไปทำให้ภาพสว่างเกินไป (overexposed) จนเสียรายละเอียด ขณะที่เครื่องมือเฉพาะทางจะรักษาระดับให้อยู่ในขอบเขตที่กำหนดได้ดีกว่า

Two examples of verification data. Top: a Removal Specialist and a General Editor remove a smiley patch from a checkered shirt, with the close-up revealing a blurred plaid pattern from the specialist. Bottom: a General Editor and a Photometric Operator brighten a dark still life, with measured brightness, clipping, and color shift values shown beneath.

เมื่อทดสอบกับเกณฑ์มาตรฐาน 600 รายการ ผลปรากฏว่าเมื่อมีข้อมูลสถิติประกอบ โมเดลภาษามาตรฐานทั้ง 7 รุ่นที่ใช้ทดสอบ สามารถทำคะแนนแซงหน้าโมเดล EditScore-72B ที่ถูกฝึกฝนมาโดยเฉพาะได้ทั้งหมด โดย Qwen3.8-27B เลือกภาพที่ใช้งานได้สูงถึงร้อยละ 81.3 ซึ่งพิสูจน์ว่าสิ่งที่โมเดล "มองเห็น" มีผลต่อคุณภาพมากกว่าวิธีการฝึกฝน

Dot plot of Winner-Set Hit@1 for seven Qwen and Gemma models, each with and without evidence, compared to fine-tuned evaluation models EditScore and EditReward. With evidence, scores rise by 6.3 to 9.3 percentage points, with Qwen3.8-Flash-Next reaching 82.8 percent.

นอกจากนี้ EditAgent ยังมีระบบ History Check เพื่อตรวจสอบว่าการแก้ไขล่าสุดไปทำลายสิ่งที่แก้ไขไว้ก่อนหน้านี้หรือไม่ เช่น หากคำสั่งใหม่ทำให้หน้าต่างที่เคยทำเป็นกระจกฝ้ากลับมาใสอีกครั้ง ระบบจะตรวจพบและแก้ไขให้ถูกต้องทันที

Editing sequence of a bathroom in four images. In round 1, the window is frosted. In round 2, adding more daylight makes the glass clear again. The History Check catches the violation and restores the frosted glass while keeping the brighter lighting.

EditAgent ช่วยเพิ่มประสิทธิภาพให้เครื่องมือ open-source อย่าง Qwen-Image-Edit-2511 และ Flux-2-Klein-9B จนสามารถแซงหน้าโมเดลเชิงพาณิชย์อย่าง Seedream 4.0 และ GPT-Image-1.5 ได้ในบางเกณฑ์วัด แม้จะต้องใช้ compute สูงขึ้นก็ตาม

ต่อยอดสู่ข้อมูลการฝึกฝนคุณภาพสูง

ทีมนักวิจัยยังใช้ EditAgent ในการสร้างข้อมูลการฝึกฝนคุณภาพสูงได้ถึง 26,000 ตัวอย่าง ซึ่งช่วยให้โมเดลที่ถูกนำมา fine-tuned ทำงานได้ดีขึ้นในระยะยาว ซึ่งถือเป็นการลงทุนที่คุ้มค่าเมื่อเทียบกับต้นทุน compute ที่เสียไปในตอนแรก

Adobe ได้เริ่มนำ AI agent เข้าสู่ Photoshop, Premiere และแอปในเครือ Creative Cloud ตั้งแต่เดือนมิถุนายนที่ผ่านมาในเวอร์ชัน beta เพื่อช่วยให้ผู้ใช้ทำงานได้ง่ายขึ้นเพียงแค่บอกความต้องการ ขณะเดียวกันวงการ AI ยังคงพัฒนาต่อเนื่อง โดยล่าสุด Black Forest Labs ได้เปิดตัว Flux 3 Image Klein ที่มีขนาดเล็กลงแต่มีประสิทธิภาพสูงกว่ารุ่นเดิม ซึ่งจะเป็นกุญแจสำคัญในการพัฒนาเครื่องมือแต่งภาพในอนาคต

ประเด็นสำคัญ

เครื่องมือทั่วไปมักตกม้าตายในงานที่ซับซ้อน

ตัดสินด้วยตัวเลขที่ชัดเจนเพื่อผลลัพธ์ที่เหนือกว่า

ต่อยอดสู่ข้อมูลการฝึกฝนคุณภาพสูง

ความคิดเห็น (0)