API Gateway รองรับ Streaming แล้ว: รองรับ AI และ Real-time

22 ต.ค. 2026

ในช่วงทศวรรษที่ผ่านมา การเรียกใช้งาน API ส่วนใหญ่มีลักษณะเหมือนการทำธุรกรรม (transaction) คือ client ส่ง request แล้วรอจนกว่าจะได้รับ response ที่สมบูรณ์กลับมาในคราวเดียว โมเดลดังกล่าวเป็นสิ่งที่เครื่องมือจัดการ API ส่วนใหญ่รวมถึง API Gateway ถูกสร้างขึ้นมาเพื่อรองรับ และยังคงเป็นรูปแบบหลักของ traffic ในระบบ production จำนวนมหาศาล

อย่างไรก็ตาม รูปแบบดังกล่าวไม่ได้ครอบคลุม traffic ทั้งหมดในปัจจุบันอีกต่อไป โดยเฉพาะโมเดล AI ที่ต้องการส่ง tokens ออกมาในขณะที่กำลังผลิต ไม่ใช่ส่งออกมาเป็นก้อนเดียวในตอนท้าย รวมถึงเอเจนต์ที่ต้องรายงานความคืบหน้าของภารกิจ หน้าแดชบอร์ด เครื่องมือแก้ไขงานร่วมกัน (collaborative editor) หรือ live inference endpoint ซึ่งล้วนต้องการการเชื่อมต่อที่เปิดค้างไว้และรับส่งข้อมูลได้สองทิศทาง

ที่ผ่านมา นักพัฒนาที่ใช้ API Gateway ต้องเผชิญกับทางเลือกที่ยากลำบาก ระหว่างการยอมสละฟีเจอร์ streaming เพื่อใช้ gateway หรือการส่ง traffic เลี่ยง gateway ไป ซึ่งทำให้เสียความสามารถในการทำ authentication, การบังคับใช้ API key และ observability ส่งผลให้หลายทีมต้องแยกส่วนการจัดการระหว่าง API ทั่วไปกับ streaming traffic ที่ไม่มีการควบคุม

เราขอประกาศว่าการรองรับ streaming ใน API Gateway พร้อมใช้งานแล้วในรูปแบบ Public Preview ช่วยให้ streaming endpoints ของคุณสามารถอยู่ภายใต้ gateway เดียวกัน และใช้นโยบายเดียวกันกับบริการอื่นๆ ได้ทันที

สำหรับแอปพลิเคชัน AI การทำ streaming ยังช่วยเสริมความแข็งแกร่งให้กับการเชื่อมต่อระหว่าง API Gateway และแพลตฟอร์ม Gemini โดย gateway ที่ใช้ model routing จะทำการ stream response จากโมเดล Gemini, Claude และ OpenAI gpt-oss ในขณะที่ถูกสร้างขึ้น เช่นเดียวกับ Apigee และ Agent Gateway ในแพลตฟอร์ม Gemini ซึ่ง API Gateway จะทำหน้าที่เป็นจุดเริ่มต้นที่มีน้ำหนักเบา (lightweight entry point) สู่ความสามารถ AI gateway ของ Google Cloud

ปัจจุบัน API Gateway รองรับรูปแบบการ streaming ที่ครบถ้วนสำหรับ API สมัยใหม่ ได้แก่:

• Server-Sent Events (SSE): มาตรฐานหลักสำหรับการ streaming output ของโมเดลไปยัง browser หรือ client SDK และเป็นเบื้องหลังของ API แบบ chat completion ส่วนใหญ่
• Chunked transfer encoding และ HTTP response streaming: รวมถึง newline-delimited JSON (NDJSON) โดย response จะถูกส่งผ่านทันทีที่ backend ผลิตข้อมูลออกมา แทนที่จะถูก buffer ไว้จนจบ
• WebSockets: การเชื่อมต่อแบบ full-duplex สำหรับการแชท การทำงานร่วมกัน live dashboards และการแจ้งเตือน
• gRPC streaming: การ streaming ฝั่ง server และแบบสองทิศทาง ช่วยให้วาง gateway หน้าบริการ gRPC ที่เดิมไม่สามารถทำ proxy ได้

Stream สามารถเปิดค้างไว้ได้นานถึงหนึ่งชั่วโมง และเนื่องจากเป็นการเชื่อมต่อระยะยาว client ควรมี logic ในการเชื่อมต่อใหม่เพื่อให้ session ยังคงอยู่หลังจาก stream สิ้นสุดลง ซึ่งเป็นมาตรฐานปกติของ client WebSocket หรือ SSE อยู่แล้ว

ส่วนที่น่าสนใจที่สุดคือ คุณไม่ต้องเรียนรู้สิ่งใหม่ เนื่องจาก streaming ไม่ใช่ผลิตภัณฑ์ใหม่หรือประเภททรัพยากรที่ต่างออกไป ไม่มีการเพิ่ม extension หรือ annotation เฉพาะ และไม่ต้องแยก spec สำหรับการ streaming โดยเอกสารชุดเดิมที่ใช้อธิบาย API ปัจจุบันของคุณสามารถใช้งานร่วมกันได้ทันที

ทุกฟีเจอร์ที่คุณไว้วางใจยังคงทำงานได้เหมือนเดิมทุกประการ ไม่ว่าจะเป็นการบังคับใช้ API key, การตรวจสอบความถูกต้องของ JWT (รวมถึง Firebase, Auth0, Okta และ Google ID tokens), การทำ authentication ด้วย Service account ไปยัง backends, การรวมเข้ากับ Cloud Logging และ Cloud Monitoring รวมถึง Path templating และ request routing

ในช่วง Public Preview คุณสามารถเลือกเปิดใช้งาน (opt-in) เมื่อสร้าง gateway ผ่านคำสั่ง:

gcloud api-gateway gateways create GATEWAY_ID \
--api=API_ID \
--api-config=CONFIG_ID \
--location=REGION \
--enable-streaming

ความแตกต่างมีเพียง flag ตัวเดียวเท่านั้น โดยในขั้นตอน GA (General Availability) มีแผนที่จะให้ streaming เป็นพฤติกรรมปกติของ API Gateway โดยไม่จำเป็นต้อง opt-in และไม่ต้องการการเปลี่ยนแปลงการกำหนดค่า API ใดๆ

นอกจากการ streaming แล้ว gateway จะได้รับ hostname เริ่มต้นแบบ deterministic ในรูปแบบ:

GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev
(ตัวอย่าง: streaming-test-12345.us-central1.gateway.dev)

จากเดิมที่ hostname ของ gateway.dev จะมี hash แบบสุ่ม ทำให้ไม่ทราบ URL จนกว่าจะสร้างเสร็จ ซึ่งสร้างความยุ่งยากในการเขียน endpoint ลงใน client config, Terraform module, CI pipeline หรือ firewall allowlist แต่ตอนนี้ hostname จะถูกกำหนดจากค่าที่คุณเลือกไว้ล่วงหน้า ทำให้คุณสามารถทำ template และเขียนเอกสารกำกับได้ทันทีก่อนการสร้างจริง

Streaming ไม่ได้เป็นเพียงฟีเจอร์เฉพาะกลุ่มสำหรับ AI แต่เป็นรูปแบบปฏิสัมพันธ์ที่ผู้ใช้คาดหวัง เพราะผู้ใช้ต้องการเห็นคำตอบของโมเดลปรากฏขึ้นทันที ไม่ใช่การรอคอยนานถึง 30 วินาที เลเยอร์การจัดการ API ที่ไม่สามารถ stream ได้จะจำกัดประสบการณ์ผู้ใช้ของแอปพลิเคชัน AI อย่างรุนแรง

ด้วยการรองรับ streaming นี้ API Gateway จะกลายเป็นประตูหน้าที่ใช้งานได้จริงสำหรับ traffic ของเอเจนต์ เนื่องจาก AI endpoints มีค่าใช้จ่ายสูงและใช้โควตามาก จึงจำเป็นต้องมีระบบ authentication รายผู้ใช้ การจำกัดอัตรา (rate limiting) และการสังเกตการณ์ (observability) เพื่อแก้ไขปัญหาด้านธรรมาภิบาลข้อมูล

ฟีเจอร์ Model routing ยังช่วยให้คุณเปิดใช้งาน endpoint ที่รองรับ OpenAI เพียงตัวเดียว และส่ง request ไปยังโมเดล Gemini, Claude หรือ OpenAI gpt-oss ได้ตาม model field ใน request payload ซึ่งการรวม model routing เข้ากับ streaming จะช่วยให้ client ได้รับ interface ที่คุ้นเคยในขณะที่คุณยังควบคุมนโยบายจากส่วนกลางได้

การ streaming, model routing และ การรองรับ MCP ล้วนเป็นฟีเจอร์ที่เตรียมทางด่วนสู่ความสามารถ AI gateway ใน Google Cloud โดยคุณสามารถเลือกใช้ gateway ที่เหมาะสมได้ตามกรณีการใช้งาน เช่น ใช้ Apigee สำหรับการจัดการวงจรชีวิตเต็มรูปแบบ หรือใช้ Agent Gateway เพื่อรักษาความปลอดภัยการเชื่อมต่อของเอเจนต์

สิ่งที่ควรพิจารณาในช่วง Preview ได้แก่: ต้องเปิดใช้งานการ streaming ขณะสร้าง gateway เท่านั้น (ไม่สามารถเปลี่ยนสถานะ gateway เดิมได้), ฟีเจอร์บางอย่างเช่น Custom domains ผ่าน Serverless NEGs หรือ Terraform จะตามมาภายหลัง และค่า Latency metrics จะสะท้อนระยะเวลาทั้งหมดของ stream ไม่ใช่แค่เวลาถึง byte แรก

หากคุณใช้งาน API Gateway อยู่แล้ว วิธีที่ง่ายที่สุดคือการสร้าง gateway ใหม่ที่เปิดใช้งาน streaming แล้วชี้ไปยัง backend เดิมที่ส่ง SSE เพื่อทดสอบประสิทธิภาพได้ทันทีโดยไม่ต้องเปลี่ยน spec ใดๆ