Vercel Labs เปิดตัว agent-desktop เครื่องมือคุมคอมพิวเตอร์แบบ Open-Source

Vercel Labs เปิดตัว agent-desktop เครื่องมือ open-source ในรูปแบบ CLI ที่ช่วยให้ AI Agent สามารถสั่งการคอมพิวเตอร์ได้ทั้งบนระบบปฏิบัติการ macOS, Windows และ Linux จุดเด่นคือการอ่านข้อมูลแอปพลิเคชันผ่าน accessibility tree ของระบบ แทนการใช้การจับภาพหน้าจอ (Screenshot) แบบเดิม โดยเอเจนต์จะได้รับข้อมูลในรูปแบบ JSON พร้อมค่า ref สำหรับทุกองค์ประกอบที่สั่งการได้

ซอฟต์แวร์เวอร์ชัน 1.0.2 ถูกปล่อยออกมาเมื่อวันที่ 30 ตุลาคม 2026 ภายใต้สัญญาอนุญาต Apache-2.0 ช่วยให้นักพัฒนาที่สร้างเอเจนต์เขียนโค้ดที่รัน shell ได้ สามารถสั่งการแอปแบบ native ได้ทันทีโดยไม่ต้องพึ่งพา vision model ซึ่งการดำเนินการผ่าน ref มีความแม่นยำสูง (Deterministic) และปลอดภัยต่อการลองใหม่ (retry-safe) อย่างไรก็ตาม ปัจจุบันยังไม่มีเกณฑ์มาตรฐาน (benchmark) อิสระมาวัดผลในด้านนี้

agent-desktop คืออะไร?

agent-desktop คือ Rust CLI และ C library จาก Vercel Labs ที่ออกแบบมาเพื่ออ่านและสั่งการแอปเดสก์ท็อปโดยเฉพาะ มันทำหน้าที่เป็นเครื่องมือให้เอเจนต์เรียกใช้ ไม่ใช่ตัวเอเจนต์เอง จึงไม่มี LLM ฝังตัวและไม่มีหน้าจอ GUI ทุกคำสั่งจะทำงานแบบจบในตัวด้วยการส่งข้อมูล JSON ออกมาหนึ่งชุด ส่วนวงจรการสังเกต (observe), การสั่งการ (act) และการตรวจสอบ (verify) จะถูกจัดการโดยตัวเอเจนต์หลักของผู้ใช้เอง

agent-desktop ทำงานอย่างไร?

การทำงานจะไหลผ่านโครงสร้างที่กำหนดไว้ชัดเจน โดย CLI หรือ C library จะเรียกใช้งาน agent-desktop-core ซึ่งเข้าถึงระบบปฏิบัติการผ่าน PlatformAdapter trait และสื่อสารกับ native accessibility API ของแต่ละระบบดังนี้:

• macOS: ใช้งานผ่าน AX API
• Windows: ใช้งานผ่าน UI Automation
• Linux: ใช้งานผ่าน AT-SPI

ตัว Core จะไม่ทำการ import platform crate ข้ามระบบ โดยแต่ละ binary จะถูกคอมไพล์เพื่อสั่งการระบบปฏิบัติการเพียงระบบเดียวเท่านั้น

ระบบ Snapshots และ refs

ระบบจะกำหนดค่า qualified refs เช่น @s8f3k2p9:e8 ซึ่งมี snapshot ID ในตัวทำให้ระบุตำแหน่งได้อย่างแม่นยำ หากมีการใช้ ref แบบลอยๆ หรือหาก UI เปลี่ยนแปลง ระบบจะแจ้งข้อผิดพลาดเป็น INVALID_ARGS หรือ STALE_REF เพื่อให้เอเจนต์ทำการดึง snapshot ใหม่ทันที

สำหรับแอปที่มีความซับซ้อนสูงซึ่งอาจมีโหนดข้อมูลหลายพันรายการ ผู้พัฒนาได้ใส่ฟีเจอร์ --skeleton ที่จะอ่านข้อมูลเพียง 3 ระดับความลึก ซึ่งช่วยลดการใช้ token ลงได้ถึง 78% ถึง 96% เมื่อเทียบกับการดึงโครงสร้างทั้งหมดในแอปอย่าง Slack, VS Code หรือ Notion เช่นใน Apple Maps พบว่าช่วยลดการใช้ token จาก 3,811 เหลือเพียง 273 ต่อการมองหนึ่งครั้ง (ข้อมูลจากการรายงานของผู้พัฒนาเอง)

ทำงานแบบ Headless เป็นค่าเริ่มต้น

การสั่งการผ่าน Ref จะทำผ่าน accessibility API โดยไม่ขยับเคอร์เซอร์เมาส์หรือแย่งโฟกัสหน้าจอ ทำให้เอเจนต์ทำงานเบื้องหลังได้ในขณะที่ผู้ใช้ยังใช้งานเครื่องตามปกติ แต่หากจำเป็นต้องมีการตอบโต้ทางกายภาพ ก็สามารถเปิดใช้งานแฟลก --headed ได้ นอกจากนี้ทุกการดำเนินการยังมีระบบรออัตโนมัติ (auto-waits) สูงสุด 5,000 ms เพื่อให้มั่นใจว่าเป้าหมายพร้อมใช้งานและมีความเสถียร

เปรียบเทียบกับการใช้งานคอมพิวเตอร์แบบใช้พิกเซล (pixel-based)

agent-desktop มีความยืดหยุ่นสูงเพราะไม่ยึดติดกับโมเดลใดโมเดลหนึ่ง (model-agnostic) และส่งคืนค่าเป็นโครงสร้างข้อมูลแทนรูปภาพ ซึ่งแตกต่างจากแนวทางของ Claude หรือ OpenAI ที่เน้นการใช้ Screenshots

วิธีการติดตั้งและใช้งาน

นักพัฒนาสามารถติดตั้งได้ผ่านคำสั่ง ```bash npm install -g agent-desktop

 
- **macOS**: ต้องให้สิทธิ์ Accessibility ผ่านคำสั่ง `agent-desktop permissions --guide` 
- **Windows**: ไม่ต้องใช้สิทธิ์พิเศษหากรันในระดับเดียวกับ terminal
- **Linux**: ต้องใช้งานผ่าน graphical session และมี `at-spi2-core`
 
### สรุปสาระสำคัญ
 
- ช่วยให้ AI Agent ทุกตัวสั่งการคอมพิวเตอร์ผ่าน OS accessibility trees ได้
- รองรับ 3 ระบบปฏิบัติการหลักภายใต้สัญญาอนุญาต Open-Source (Apache-2.0)
- ทำงานเบื้องหลังได้โดยไม่รบกวนการทำงานของผู้ใช้ (Headless)
- เทคโนโลยี Skeleton snapshots ช่วยประหยัด token ได้มหาศาล
- ข้อจำกัดคือ แอปพลิเคชันใดที่ไม่มี accessibility tree จะไม่สามารถสั่งการได้