tag: Switchyard

รู้จัก Switchyard: ไลบรารี Open Source จาก NVIDIA ที่ช่วยจัดการเส้นทาง LLM เพื่อลดต้นทุน

รู้จัก Switchyard: ไลบรารี Open Source จาก NVIDIA ที่ช่วยจัดการเส้นทาง LLM เพื่อลดต้นทุน

· By: SirilukP
NVIDIA เปิดตัว Switchyard เครื่องมือ Intelligent Routing ที่ช่วยเลือกใช้งานโมเดล AI ตามความเหมาะสมของคำขอ ช่วยลดทั้งค่าใช้จ่ายและความหน่วงโดยไม่เสียคุณภาพงาน
NVIDIA เปิดตัว Switchyard: ตัวกลางจัดการทราฟฟิก LLM ข้ามค่ายผ่าน Rust Proxy และ Library

NVIDIA เปิดตัว Switchyard: ตัวกลางจัดการทราฟฟิก LLM ข้ามค่ายผ่าน Rust Proxy และ Library

· By: NatapolK
NVIDIA เปิดตัว Switchyard โปรเจกต์ Open-source สำหรับจัดการเส้นทางและแปลรูปแบบทราฟฟิก LLM ช่วยให้แอปพลิเคชันที่รองรับเฉพาะ OpenAI หรือ Anthropic สามารถทำงานร่วมกับโมเดลบน vLLM, NIM หรือ Ollama ได้ทันที