เทรน AI Agent แบบ Multi-turn ด้วย Tunix และ Gemma 4 บน Google TPU

· By: TanasakP

19 พ.ย. 2026

ในโพสต์ก่อนหน้าของเรา - Easy FunctionGemma finetuning with Tunix on Google TPUs และ Autonomous LLM post-training with Tunix on TPUs - เราได้แสดงให้เห็นว่า Google Tunix ช่วยเพิ่มประสิทธิภาพให้กับ Supervised Fine-Tuning (SFT) และ Group Relative Policy Optimization (GRPO) แบบรอบเดียวบน Cloud TPUs ได้อย่างไร

อย่างไรก็ตาม AI เอเจนต์ในโลกความเป็นจริงแทบจะไม่จบงานได้ในรอบเดียว พวกมันต้องใช้การใช้เหตุผลจากการสังเกตบางส่วน เรียกใช้เครื่องมือ สังเกตการตอบสนองจากสภาพแวดล้อม และปรับกลยุทธ์ผ่านหลายขั้นตอน ดังนั้นในโพสต์นี้ เราจะสาธิตวิธีการเทรนเอเจนต์ LLM แบบใช้เครื่องมือและสื่อสารหลายรอบ โดยใช้ไปป์ไลน์ agentic reinforcement learning ของ Tunix บน Cloud TPU v6e-8 คุณสามารถดูโค้ดฉบับสมบูรณ์ได้ใน this GitHub repository

เราจะกลับไปดูเกมกระดาน Plane Strike จาก TensorFlow/JAX reinforcement learning blog รุ่นก่อนหน้า โดยเปลี่ยนนโยบาย MLP แบบกำหนดเองเป็น Gemma 4 E2B ใน thinking mode บนโฮสต์ Cloud TPU v6e-8 เพียงเครื่องเดียว

เกม Plane Strike เล่นบนตารางขนาด 6x6 (A1 ถึง F6) โดยมีเครื่องบินขนาด 8 ช่องซ่อนอยู่ ในแต่ละรอบเอเจนต์จะเห็นผลลัพธ์จากการยิงครั้งก่อนและกระดานดิบที่มองเห็นได้ (. คือยังไม่ได้ลอง, X คือโดน, O คือพลาด) เอเจนต์จะคิดผ่านตำแหน่งที่เป็นไปได้ และเรียกใช้เครื่องมือ strike(cell="...") เพื่อยิงหนึ่งช่อง เกมจะจบลงเมื่อยิงโดนครบทั้ง 8 ช่อง หรือหลังจากยิงครบ 23 ครั้ง

แม้ว่า google/gemma-4-E2B-it จะมีความสามารถด้านการใช้เหตุผลเชิงพื้นที่และการเรียกใช้เครื่องมือที่ดี แต่หากใช้โดยไม่มีการปรับแต่ง มันจะมีอัตราการชนะเพียง 9.4% บนกระดานทดสอบ (เฉลี่ยการยิง 22.44 ครั้ง) แต่หลังจากผ่าน 100 ขั้นตอนของ agentic GRPO ด้วย Tunix อัตราการชนะพุ่งสูงถึง 95% และลดความยาวเฉลี่ยของเกมเหลือเพียง ~16 ครั้ง

เราจัดตั้งไปป์ไลน์ multi-turn RL ในสี่องค์ประกอบหลัก ได้แก่ Task Environment, Tool and Chat Template Parser, Conversation Agent และ Trajectory Collection and Agentic GRPO Learner มาดูขั้นตอนสำคัญของแต่ละส่วนกัน

1. Task Environment (env.py)

ใน env.py เราทำการ subclass BaseTaskEnv ของ Tunix เพื่อสร้าง PlaneStrikeEnv แต่ละอินสแตนซ์ของสภาพแวดล้อมจะได้รับ seed ที่กำหนดตำแหน่งเครื่องบิน เพื่อให้ทั้ง 8 rollout ในกลุ่ม GRPO เล่นบนกระดานเดียวกันทุกประการ:

class PlaneStrikeEnv(BaseTaskEnv):
    """One Plane Strike game. `entry["seed"]` fixes the hidden plane position."""
    def __init__(
        self,
        entry: dict[str, Any],
        group_id: int | None = None,
        pair_index: int | None = None,
        max_steps: int = MAX_STEPS,
        **kwargs,
    ):
        entry = {k: _unwrap(v) for k, v in entry.items()}
        self.seed = int(entry.get("seed", 0))
        self.split = str(entry.get("split", "train"))
        super().__init__(task=dict(entry), max_steps=max_steps, **kwargs)
        self.extra_kwargs["group_id"] = group_id
        self.extra_kwargs["pair_index"] = pair_index
        self._reset_board()

ในแต่ละรอบ _step_impl จะประเมินการยิงเทียบกับกระดานที่ซ่อนอยู่ อัปเดตตาราง คำนวณรางวัลในแต่ละก้าว และส่งคืน EnvStepResult สำหรับเอเจนต์มาตรฐาน tunix.rl.agentic ยังมีโครงสร้าง ToolEnvironment, ToolAgent และ ToolManager ที่พร้อมใช้งานในตัวโดยไม่ต้องเขียนการเชื่อมต่อข้อความเอง

2. Native Multi-Turn Tool Call (strike_tool.py)

ใน Gemma 4 โครงสร้างของเครื่องมือจะถูกประกาศใน system prompt ภายใต้ <|tool>declaration:...<tool|> และการทำงานของโมเดลในรอบที่เรียกใช้เครื่องมือจะจบลงด้วยรูปแบบเฉพาะ โดยใช้ <|tool_response|> เป็นหนึ่งใน native stop tokens เพื่อรอรับค่าตอบสนองจากเครื่องมือแล้วดำเนินรอบการทำงานต่อไปภายใน assistant turn เดียวกัน

ใน strike_tool.py เรากำหนด StrikeTool(BaseTool) และ Gemma4ChatTemplateParser เพื่อแนบการประกาศเครื่องมือไปยัง system prompt และแสดงผลข้อความตอบสนองภายในรอบการทำงาน:

class Gemma4ToolChatTemplateParser(parser_lib.Gemma4ChatTemplateParser):
    """Gemma4ChatTemplateParser plus native tool declarations and in-turn tool
    responses."""
    def __init__(self, tokenizer, tools: list[base_tool.BaseTool], enable_thinking: bool = True):
        super().__init__(tokenizer, enable_thinking=enable_thinking)
        self.tool_declarations = render_tool_declarations(tokenizer, tools)
        self.tool_response_id = tokenizer.convert_tokens_to_ids(TOOL_RESPONSE_START)
    def _parse_system(self, content: str) -> str:
        return self.tokens.system_token + content.strip() + self.tool_declarations + self.tokens.eot_token
    def _parse_tool(self, content: str) -> str:
        return f"call:strike{{value:{_STR}{content}{_STR}}}<tool_call|><|tool_response>"
    def parse(self, messages, add_generation_prompt: bool = False, is_first_msg: bool = False) -> str:
        if messages and messages[-1]["role"] == "tool":
            add_generation_prompt = False # The model continues its own turn.
        return super().parse(messages, add_generation_prompt=add_generation_prompt, 
                             is_first_msg=is_first_msg)

3. Conversation Agent (agent.py)

ใน agent.py PlaneStrikeAgent ทำหน้าที่แปลระหว่างการสังเกตจากสภาพแวดล้อมและข้อความของโมเดล เมื่อโมเดลจบหนึ่งรอบ tool_strike จะวิเคราะห์คำตอบที่มีการเรียก strike ที่ถูกต้องเพียงครั้งเดียวเท่านั้น หากโมเดลหยุดที่ <|tool_response|> การสังเกตกระดานครั้งถัดไปจะถูกเพิ่มด้วย role="tool" เพื่อให้โมเดลดำเนินงานต่อทันที

4. Agentic GRPO Learner (train_planestrike.py)

ใน train_planestrike.py เรากำหนดค่าเอนจิน rollout แบบอะซิงโครนัสผ่าน vllm, RLEngine และ GRPOLearner ของ Tunix เนื่องจาก Multi-turn agentic RL มักติดคอขวดที่การสร้าง rollout ที่มีความยาวไม่เท่ากัน เราจึงเปิดใช้งาน rollout_vllm_server_mode เพื่อทำ rollout แบบอะซิงโครนัสต่อเนื่องผ่าน vllm-tpu และใช้ enable_prefix_caching เพื่อแคชประวัติการสนทนาที่เพิ่มขึ้นเรื่อยๆ ซึ่งช่วยเพิ่มประสิทธิภาพบน Cloud TPU v6e-8 โฮสต์เดียวได้อย่างมาก

ตลอด 100 ขั้นตอนการเทรน เอเจนต์ได้เรียนรู้ทั้งการเรียกใช้เครื่องมือที่แม่นยำและการวิเคราะห์ตำแหน่ง โดย game/train/tool_call_rate พุ่งถึงเกือบ 100% ในขณะที่ความผิดพลาดลดลงเหลือเกือบศูนย์ และอัตราการชนะเพิ่มขึ้นจาก 9.4% เป็น 95% พร้อมความยาวเฉลี่ยของเกมที่สั้นลง

ความสำเร็จนี้พิสูจน์ให้เห็นว่าโครงสร้าง tunix.rl.agentic ของ Tunix และ vllm-tpu ช่วยให้การทำ multi-turn, tool-using agentic RL บน Cloud TPUs เป็นเรื่องง่ายและมีประสิทธิภาพ ผู้ที่สนใจสามารถศึกษาเพิ่มเติมได้ที่ planestrike-gemma4-rl GitHub repository และ Tunix documentation

Source: Google Developers Blog
ดูแลงานแปลและเรียบเรียงโดย TanasakP
เทรน AI Agent แบบ Multi-turn ด้วย Tunix และ Gemma 4 บน Google TPU

ความคิดเห็น (0)

เข้าสู่ระบบเพื่อร่วมแสดงความเห็น

สมัครสมาชิก

มาเป็นคนแรกที่แสดงความเห็นกันเลยโบร