tag: Indic Pretraining

Scaling Indic Pretraining: เปิดชุดข้อมูล 2.8 ล้านล้านโทเค็น

Scaling Indic Pretraining: เปิดชุดข้อมูล 2.8 ล้านล้านโทเค็น

โครงการ Scaling Indic Pretraining เปิดตัวชุดข้อมูลมหาศาลกว่า 2.8 ล้านล้านโทเค็น ครอบคลุมภาษาท้องถิ่นและรูปแบบอักษรโรมัน พร้อมเปิดพิมพ์เขียว Pipeline การประมวลผลข้อมูลผ่าน GPU