Granite Switch 4.1: รวมการแชท ตัดสินใจ และถอดเสียงใน Endpointเดียว

โปรเจกต์ Granite Switch ที่เปิดตัวเมื่อฤดูใบไม้ผลิปีที่แล้ว ช่วยให้การพัฒนาโมเดลเป็นแบบโมดูลาร์ได้สำเร็จ ล่าสุดได้เปิดตัวโมเดล Granite Switch 4.1 ที่ติดตั้ง Decision adapter และโมเดล ASR ที่เร็วที่สุดบนลีดเดอร์บอร์ด OpenASR ทำให้สามารถสลับการทำงานระหว่างการตอบกลับด้วยภาษาธรรมชาติ การตัดสินใจทั่วไปและเฉพาะทาง รวมถึงงานแปลงเสียงเป็นข้อความได้อย่างมีประสิทธิภาพผ่าน endpoint เดียวที่ให้บริการ

โดยเฉพาะโมเดล Granite-Switch-4.1-8B และ -30B ได้รับการกำหนดค่าให้ประกอบด้วยเทคโนโลยีสำคัญ 3 ส่วน ได้แก่:

1. Decision aLoRA ใหม่สำหรับการตัดสินใจเอนกประสงค์ (เช่น v1/systemone)
2. Guardian aLoRA เฉพาะทางที่มีประสิทธิภาพเหนือกว่า Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions และ Clef-Flash ในงานด้านการตัดสินใจที่เกี่ยวข้องกับความปลอดภัย
3. Granite-Speech-5.0-Turbo-CTC โมเดล ASR ที่เร็วที่สุดบน OpenASR Leaderboard สำหรับงานถอดความเสียง

เทคโนโลยีทั้งสามนี้พร้อมโมเดลพื้นฐานถูกรวมเข้าเป็นหนึ่งเดียว โดยใช้ VRAM บน GPU ในปริมาณที่ใกล้เคียงกับโมเดลเดี่ยว ส่งผลให้มีความสามารถมากขึ้นโดยใช้ทรัพยากรน้อยลง เนื่องจาก Switch adapters ถูกสร้างในรูปแบบ Activated LoRAs ที่มีประสิทธิภาพสูง ทำให้ KV cache จากโมเดลพื้นฐานสามารถนำกลับมาใช้ใหม่กับการตัดสินใจผ่าน adapter ใดๆ ได้ทันที เมื่อรวมกับ การมีส่วนร่วมใน vLLM เมื่อเร็วๆ นี้ ของทีมเราในการเร่งความเร็ว inferencing และการติดตั้ง ASR encoder ในที่เดียวกัน ทำให้โมเดล Granite Switch 4.1 สลับการทำงานระหว่างการแชท การตัดสินใจ และงานเสียงได้อย่างรวดเร็วอย่างยิ่ง

ผู้ที่สนใจสามารถทดลองใช้งาน Speech-to-Decisions HF space ซึ่ง granite-switch-4.1-8b จะแสดงความสามารถในการถอดความเสียง สรุปเนื้อหา ตรวจสอบเนื้อหาอันตราย และทดสอบแฟลกอื่นๆ อีก 15 รายการในแบบเรียลไทม์บน endpoint เดียว

Granite Libraries: โมเดลการตัดสินใจระดับต้นตำรับ

โมเดลการตัดสินใจไม่ใช่เรื่องใหม่ โดยการเปิดตัว Granite Libraries ก่อนหน้านี้ได้เตรียมคลังตัวปรับแต่ง "โมเดลการตัดสินใจ" และ adapter เฉพาะทางไว้ให้เลือกประกอบเป็นโมเดล Granite Switch แบบกำหนดเอง แม้โมเดลปิดอย่าง Jev จะเน้นความเป็นทั่วไป แต่เราพบว่า granitelib adapters เฉพาะทางทำผลงานได้ดีกว่าในงานจำแนกประเภทเฉพาะด้าน

ผู้ใช้สามารถ เปรียบเทียบ granitelib adapters กับโมเดลทั่วไปในการประเมินผลงานจำแนกประเภทเฉพาะทางได้โดยตรง เนื่องจาก adapters ใช้ KV cache ร่วมกับโมเดลพื้นฐาน การเพิ่มตัวเฉพาะทางควบคู่กับตัวตัดสินใจทั่วไปจึงแทบไม่มีค่าใช้จ่ายเพิ่ม ช่วยให้ได้ทั้งความครอบคลุมและแม่นยำสูงในงานที่สำคัญ ในการทดสอบระหว่าง Granite-Switch-4.1-30B (4 aLoRAs เฉพาะทาง) และ Jev-27B (1 generic decision LoRA) พบว่า Granite ทำงาน RAG 5 ขั้นตอนได้เร็วกว่าคู่แข่งมาก

ประกอบและขยายโมเดล Granite Switch ของคุณเอง

แม้ Granite-Switch-4.1-8B และ -30B จะถูกปล่อยออกแบบพร้อมใช้งานทันที แต่ผู้ใช้ไม่จำเป็นต้องยึดตามเวอร์ชันนี้ ทุกคนสามารถเลือก ประกอบโมเดล Granite Switch ของตัวเอง โดยผสมผสาน adapters จาก Granite Libraries ให้ตรงกับความต้องการที่สุด

ในอนาคตเรามีแผนจะปล่อย Adapter SDK สำหรับฝึกฝน adapters ใน Mellea เพื่อให้ชุมชนสามารถขยายความสามารถด้วย adapters ของตัวเอง ไม่ว่าจะเป็นงานจำแนกประเภท งานภาษา หรือแม้แต่การสอนโมเดล Granite 3B ให้เล่นเกมคลาสสิกอย่าง Doom

โมเดล Granite Switch 3B แบบกำหนดเองสามารถตัดสินใจนำทางในเกม Doom ได้รวดเร็วถึง 60 - 100 การตัดสินใจ / วินาที เมื่อเทียบกับ Jev ที่ทำได้ 10 การตัดสินใจ / วินาที1 และที่สำคัญคือโมเดล Granite ยังสามารถบรรยายการเล่นและตอบคำถามในขณะที่เล่นได้พร้อมกันอีกด้วย

เราจะเปิดเผยข้อมูลเพิ่มเติมเกี่ยวกับ Granite Switch ในสัปดาห์ต่อๆ ไป สำหรับตอนนี้สามารถเริ่มต้นใช้งานได้ผ่านแหล่งข้อมูลด้านล่าง

แหล่งข้อมูลสำหรับการเริ่มต้น

• Granite Switch 4.1 Model Cards
• Speech-to-Decisions Demo
• Granite Switch GitHub Repo
• บล็อกเปิดตัว Granite Switch และ Granite Libraries ดั้งเดิม
• สร้างการแข่งขัน aLoRA v LoRA ของคุณเองบน Colab

เชิงอรรถ

1 https://typesafe.ai/blog/introducing-system-one-models-and-jev