Introduction

ทีมที่พัฒนา AI agent ในระดับสเกลใหญ่มักจะพบกับอุปสรรคแบบเดิมๆ แม้แต่ agent ที่สร้างบนโมเดลชั้นนำอย่าง Fable และ Astra ก็ยังประสบปัญหาในการทำงานที่ซับซ้อนแบบ end-to-end ภายในผลิตภัณฑ์เฉพาะทางได้อย่างสม่ำเสมอเพียงพอสำหรับการใช้งานจริง

ทีมงานจึงต้องทุ่มเททำ eval สำหรับเวิร์กโฟลว์ที่สำคัญที่สุด ซึ่งมักเป็นกรณีที่เขียนด้วยมือหลายร้อยหรือหลายพันรายการ แล้วจึงค่อยๆ ปรับปรุง agent ทีละนิดผ่านการแก้ไข prompt, การซ่อมแซม harness และกรณีพิเศษต่างๆ จนกว่าจะผ่านการทดสอบมากพอที่จะใช้งานจริงได้

ในขณะเดียวกัน ผู้ใช้ของผลิตภัณฑ์เองก็ทำภารกิจเหล่านั้นอยู่ทุกวัน และรู้ว่าต้องดำเนินการอย่างไรและในลำดับใด CopilotKit บริษัทที่อยู่เบื้องหลังเฟรมเวิร์ก CopilotKit แบบ open-source และโปรโตคอล AG-UI จึงได้เปิดตัว CLiF แพลตฟอร์มสำหรับการเรียนรู้ต่อเนื่องจาก full-stack trajectories ในรูปแบบ early access โดย CLiF จะบันทึกสิ่งที่ agent ทำและสิ่งที่ผู้ใช้ทำในผลิตภัณฑ์อย่างปลอดภัย และเปลี่ยนบันทึกนั้นให้เป็นทักษะ, production-based evals และชุดข้อมูล fine-tuning ซึ่งทั้งหมดสามารถส่งออกได้พร้อมกับ trajectory ต้นฉบับ ทั้งนี้ CopilotKit เป็น open source ที่มีดาวมากกว่า 38,000 ดวงบน GitHub

CopilotKit เปิดตัว CLiF แพลตฟอร์มสร้างทักษะ AI Agent จากการใช้งานจริง

TL;DR

Agent tracing แสดงให้เห็นว่า agent ทำผิดพลาดที่ตรงไหน ในขณะที่เส้นทางที่ถูกต้องนั้นอยู่ในการกระทำของผู้ใช้ในผลิตภัณฑ์ ซึ่ง stack ส่วนใหญ่ไม่เคยบันทึกไว้
CLiF เรียนรู้จาก full-stack trajectories ทั้ง agent trace และการกระทำของผู้ใช้ ซึ่งถูกบันทึกไว้อย่างปลอดภัยในไทม์ไลน์เดียวผ่าน AG-UI
วงจรการทำงานสี่ขั้นตอนของ CopilotKit จะเปลี่ยนข้อมูลเหล่านั้นให้เป็นทักษะ, production-based evals และชุดข้อมูล fine-tuning โดยมีมนุษย์คอยตรวจสอบทุกทักษะ
CLiF ช่วยแก้ปัญหาหลักของทีมพัฒนา agent เช่น เรื่อง evals, context bloat, ค่าใช้จ่าย และการจัดการระบบที่กระจัดกระจาย โดยสามารถเลือกใช้งานแบบ self-hosted ได้เต็มรูปแบบ

What Agent Tracing Misses

การตรวจสอบ agent (observability) ส่วนใหญ่ในปัจจุบันมักรวมศูนย์อยู่ที่ตัว agent เครื่องมือ tracing จะบันทึก prompt, การเรียกใช้ tool และ output ของโมเดล ซึ่งแสดงให้เห็นว่า agent ผิดพลาดตรงไหน แต่ทิ้งเส้นทางที่ถูกต้องไว้นอกสายตา

ส่วน product analytics จะครอบคลุมอีกด้านหนึ่งด้วยการคลิกและ session replay แม้ข้อมูลนั้นจะถูกสร้างขึ้นมาเพื่อให้คนอ่านมากกว่าที่จะใช้สอน agent ใน stack ของ production agent ส่วนใหญ่ ทั้งสองส่วนนี้จึงไม่เคยมาอยู่บนไทม์ไลน์เดียวกันเลย

ช่องว่างดังกล่าวมีความสำคัญเพราะ agent เรียนรู้ผลิตภัณฑ์จาก prompt และ API ที่เปิดเผย แล้วต้องหาทางต่อจิ๊กซอว์เองสำหรับภารกิจจริง แต่คนที่ใช้ผลิตภัณฑ์ได้แก้ปัญหานั้นไปแล้วหลายร้อยครั้ง มุมมองของ CopilotKit ที่ระบุไว้ในบทอธิบายเรื่อง agent learning คือ วิธีที่ผู้ใช้ทำงานเสร็จสิ้นจริงๆ คือชุดข้อมูลที่มีค่าที่สุด และมันไม่ค่อยถูกบันทึกในรูปแบบที่ agent สามารถเรียนรู้ได้

Full-Stack Trajectories: The Training Signal CLiF Is Built On

CLiF เป็นส่วนหนึ่งของ CopilotKit Intelligence และถูกสร้างขึ้นรอบๆ ข้อมูลพื้นฐานที่เรียกว่า full-stack trajectory ซึ่งถูกบันทึกผ่าน AG-UI (Agent-User Interaction Protocol) โปรโตคอลแบบเปิดที่เชื่อมต่อ agent เข้ากับแอปพลิเคชัน เนื่องจาก AG-UI อยู่ตรงกลางระหว่าง agent และผู้ใช้ มันจึงสามารถเห็นทั้งสองด้านของภารกิจ:

Agent trajectory (agent trace): ทุกการรัน, การเรียกใช้ tool และการเปลี่ยนแปลงสถานะที่ agent ทำ
Product trajectory (user actions): สิ่งที่อยู่บนหน้าจอของผู้ใช้, ปุ่มที่คลิก และคำขอระดับเซิร์ฟเวอร์ที่เรียกใช้

การบันทึกการกระทำของผู้ใช้อย่างปลอดภัยผ่านโปรโตคอลเดียวกันทำให้ทั้งสองส่วนอยู่ในสตรีมเดียวตั้งแต่เริ่มต้น โดยไม่ต้องมี pipeline วิเคราะห์แยกต่างหาก แต่ละ session ของผู้ใช้จะกลายเป็น trajectory เดียวที่ทีมสามารถเปิดเล่นซ้ำ (replay) ทีละขั้นตอน พร้อมเห็นการคลิกและข้อความจาก agent ตามลำดับที่เกิดขึ้นจริง

Inside CLiF: From Trajectories to Skills, Evals, and Training Data

CopilotKit อธิบายวงจรการเรียนรู้ในสี่ขั้นตอน ดังนี้:

1. Capture. Trajectories จะสตรีมเข้าสู่ learning containers เพื่อจำกัดขอบเขตการเรียนรู้ไว้สำหรับงานเฉพาะประเภท เช่น การสนับสนุนด้านการเรียกเก็บเงิน โดยแต่ละ container จะเรียนรู้จาก session ของตัวเองเท่านั้น

2. Find patterns. ระบบจะวิเคราะห์ข้อมูลจาก snapshot เพื่อแสดง Insights เช่น คำขอที่เกิดขึ้นซ้ำๆ หรือแรงเสียดทาน (friction) ที่ผู้ใช้จัดการไปเงียบๆ ซึ่งถือเป็นสัญญาณที่แรงที่สุดที่แสดงว่า agent ควรเรียนรู้อะไรเป็นลำดับถัดไป

3. Review. เมื่อมีหลักฐานสนับสนุนบทเรียนที่นำกลับมาใช้ใหม่ได้ CLiF จะเสนอเป็นทักษะ (skill) ในรูปแบบไฟล์ SKILL.md โดยมนุษย์จะเป็นผู้อนุมัติหรือปฏิเสธข้อเสนอแต่ละอย่างผ่าน Intelligence UI หรือ CopilotKit CLI

4. Deliver and export. ทักษะที่อนุมัติจะถูกส่งไปยัง agent โดยไม่ต้องทำการ redeploy สำหรับ agent อื่นๆ สามารถดาวน์โหลดทักษะเป็นไฟล์ธรรมดาได้ด้วยคำสั่ง

copilotkit skills download <container> --output <dir>

Agent Trajectories: Automatic Learning in CopilotKit Intelligence

ในฝั่งของ agent นั้น CLiF ต่อยอดจาก Automatic Learning ซึ่งเป็นความสามารถใน CopilotKit Intelligence สำหรับสร้าง self-improving agents โดยขยายวงจรการเรียนรู้ไปยัง product trajectories เพื่อให้เรียนรู้จากงานที่ผู้ใช้ทำในผลิตภัณฑ์โดยตรง

ทุกการสนทนาของ agent จะถูกจัดเก็บผ่าน AG-UI Streams ทั้งข้อความ การเรียกใช้ tool และสถานะต่างๆ ทีมที่มี agent ใช้งานจริงอยู่แล้วสามารถนำเข้าประวัติเดิมจาก LangGraph Server หรือ LangSmith Deployment เข้ามาได้ทันที

การส่งมอบทักษะ ทำงานผ่าน adapter สำหรับเฟรมเวิร์กยอดนิยม เช่น LangGraph, Mastra และ Microsoft Agent Framework โดยโมเดลจะโหลดทักษะเมื่อภารกิจต้องการ แต่คำสั่งหลักของนักพัฒนาจะยังมีความสำคัญสูงสุดเพื่อความปลอดภัย

Beyond Skills: Evals, Fine-Tuning Data, and Raw Trajectories

Trajectories ชุดเดียวกันนี้จะป้อนผลลัพธ์ทั้งหมดสี่อย่างที่สามารถส่งออกไปยัง stack เดิมของทีมได้:

Skills สำหรับ agent หรือ MCP server
Production-based evals ที่สร้างจากภารกิจจริง รวมถึงกรณีขอบเขต (edge cases) ที่เขียนด้วยมือได้ยาก
Fine-tuning datasets สำหรับฝึกฝนโมเดลแบบเปิดขนาดเล็กให้ทำงานเฉพาะด้านได้เร็วและถูกลง
Raw full-stack trajectories สำหรับส่งออกไปยังแพลตฟอร์ม observability อื่นๆ

CLiF in Action: A Practical Example

สมมติว่าคุณพัฒนาแพลตฟอร์มจัดการโปรเจกต์ และต้องการให้ agent ช่วย "ปิด sprint" ซึ่งตามคู่มือคือการย้ายงานที่ค้างไป sprint ถัดไป แต่จากการบันทึกของ CLiF พบว่าผู้ใช้งานจริงมักจะย้ายงานที่ค้างซ้ำซ้อนกลับไป backlog และแท็กผู้รับผิดชอบในปัญหาที่ติดขัดด้วย

กิจวัตรเหล่านี้ไม่เคยอยู่ใน Agent traces เพราะผู้ใช้ทำเอง และไม่ชัดเจนใน product analytics ทั่วไป แต่ CLiF จะแสดงสิ่งนี้เป็น Insight และเสนอทักษะการปิด sprint แบบเต็มรูปแบบ เมื่ออนุมัติแล้ว agent จะทำงานได้เหมือนผู้เชี่ยวชาญทันทีโดยไม่ต้องเขียนโค้ดใหม่ และยังใช้เป็นตัวอย่างในการทำ eval เพื่อยืนยันความพร้อมของ agent ได้อีกด้วย

How CLiF Addresses the Pains Slowing Agent Teams in 2026

Getting agents past evals: ช่วยให้ agent ผ่านการทดสอบในเวิร์กโฟลว์สำคัญได้เร็วขึ้นด้วยทักษะจากพฤติกรรมจริงของผู้ใช้
Context bloat and tool overload: ลดภาระของ system prompt โดยเก็บทักษะไว้ใน skill catalog และโหลดใช้เฉพาะเมื่อจำเป็น
Cost: การมีข้อมูล Fine-tuning ช่วยให้เปลี่ยนไปใช้โมเดลขนาดเล็กที่ราคาถูกลงได้ในงานที่ทำบ่อย
Fragmented stacks: ทำงานร่วมกับ agent harness และโมเดลใดก็ได้ผ่าน AG-UI ที่รองรับทั้งจาก Google, Microsoft และ Anthropic
Agent adoption outside central oversight: ทุกทักษะต้องผ่านการตรวจสอบโดยมนุษย์และสามารถสืบย้อนกลับได้ ช่วยให้ควบคุมการเรียนรู้ของ AI ได้อย่างเป็นระบบ

Self-Hosted by Design

CLiF รองรับการทำ self-host เต็มรูปแบบผ่าน Kubernetes หรือ AWS ECS โดยข้อมูล Trajectories และทักษะจะอยู่ภายใน VPC ของบริษัทเพื่อความปลอดภัยสูงสุด นอกจากนี้ยังเลือกใช้งานบน managed cloud ได้หากต้องการความรวดเร็วในการติดตั้ง

Key Takeaways

CopilotKit เปิดตัว CLiF แพลตฟอร์มเรียนรู้ต่อเนื่องสำหรับ AI Agent จากการใช้งานจริง
ใช้สัญญาณจากการทำงานของผู้ใช้ บันทึกผ่าน AG-UI เพื่อเติมเต็มสิ่งที่ agent trace ขาดหายไป
สร้างผลลัพธ์ 4 ด้าน ได้แก่ ทักษะ, ระบบทดสอบ (evals), ข้อมูล Fine-tuning และข้อมูลดิบ
มนุษย์เป็นผู้ควบคุม ตรวจสอบทุกทักษะก่อนนำไปใช้ และส่งต่อทักษะไปยัง agent ภายนอกอย่าง Claude ได้
รองรับทุกเฟรมเวิร์ก และสามารถติดตั้งในโครงสร้างพื้นฐานของตนเองได้

ทีมงานสามารถเรียนรู้เพิ่มเติมหรือขอเข้าถึงช่วง early access ได้ที่ หน้าเพจ CLiF