Gigatoken: Rust BPE Tokenizer สุดแรง ทำความเร็วสูงถึง 24.53 GB/s เร็วกว่าเดิมเกือบ 1,000 เท่าtag: Gigatoken, HuggingFace, NLP, OpenAI, Rust, TokenizerJul 24, 2026 · By: AttapolKGigatoken คือโอเพนซอร์สไลบรารี Rust สำหรับเข้ารหัสข้อความ (Tokenizer) ที่ทำความเร็วได้ถึง 24.53 GB/s บนเครื่อง AMD EPYC 9565 ทิ้งห่าง HuggingFace Tokenizers เดิมถึง 989 เท่า
