tag: TPU Sync

Google เปิดตัว TPU Sync ไลบรารีโอเพนซอร์ส เร่งสปีด KV Cache บน TPU

Google เปิดตัว TPU Sync ไลบรารีโอเพนซอร์ส เร่งสปีด KV Cache บน TPU

· By: AttapolK
Google เปิดตัว TPU Sync ไลบรารี C++ โอเพนซอร์สที่ช่วยลดความหน่วงในการถ่ายโอน KV Cache และน้ำหนักโมเดลได้กว่า 90% สำหรับโมเดลขนาดใหญ่ 235B ถึง 480B บน Cloud TPU