Mistral AI เปิดตัว Timestral โมเดลพยากรณ์ขนาดเล็กที่แรงกว่า Google

Mistral AI ได้เปิดตัว Timestral ซึ่งเป็นตระกูลโมเดลพื้นฐานสำหรับอนุกรมเวลาตระกูลแรกของบริษัท ประกอบด้วยโมเดลพยากรณ์แบบ zero-shot จำนวน 4 ขนาด ตั้งแต่ 5M ถึง 209M พารามิเตอร์ โดยรุ่น largest checkpoint ขนาด 209M พารามิเตอร์ สามารถครองอันดับหนึ่งในบรรดาโมเดล zero-shot ที่ผ่านการฝึกล่วงหน้า (pretrained) บนเบนช์มาร์ก GIFT-Eval, TIME และ fev-bench ซึ่งความสำเร็จนี้เกิดขึ้นได้โดยไม่จำเป็นต้องใช้ GPU ในการประมวลผล (inference)

สำหรับเหล่านักพัฒนา โมเดล Timestral ช่วยให้สามารถพยากรณ์เชิงความน่าจะเป็นบน standard server CPU ทั่วไปได้ทันที มาพร้อมกับ open weights และ inference code ให้ใช้งาน

TL;DR

Size: มีให้เลือก 4 ขนาด ได้แก่ 5M, 28M, 123M และ 209M พารามิเตอร์ (dense) รองรับ context สูงสุด 32,768 time steps
Runs on: ทำงานบน standard server CPU โดยไม่ต้องใช้ GPU โดย weights ของรุ่น 209M มีขนาดเพียง 837 MB ในรูปแบบ fp32
Performance: ครองอันดับ #1 ในกลุ่มโมเดล pretrained แบบ zero-shot บน GIFT-Eval, TIME และ fev-bench
Best: ทำคะแนน SQL skill บน fev-bench ได้ 50.39 นำหน้า TimesFM-3 ของ Google ที่ทำได้ 48.99
Worst: ค่า MASE บน GIFT-Eval อยู่ที่ 0.658 ซึ่งนำหน้า t0-gamma (0.661) อยู่เล็กน้อยเพียง 0.003

Timestral คืออะไร?

Timestral คือโมเดลพื้นฐานสำหรับอนุกรมเวลา (TSFM) ที่ผ่านการฝึกล่วงหน้าบนคลังข้อมูลขนาดใหญ่หลากหลายประเภท เพื่อนำมาใช้พยากรณ์แบบ zero-shot บนข้อมูลที่ไม่เคยเห็นมาก่อน ต่างจากเครื่องมือดั้งเดิมอย่าง ARIMA ที่ต้องปรับให้เข้ากับข้อมูลทีละชุด หรือ PatchTST ที่ต้องฝึกใหม่เกือบทั้งหมด เพราะ Timestral สามารถถ่ายโอนรูปแบบความสัมพันธ์ข้ามโดเมนได้ทันที

แต่ละโมเดลจะส่งออก 21 quantiles ต่อ time step รองรับการพยากรณ์เป้าหมายแบบหลายตัวแปร (multivariate) และตัวแปรอิสระ (covariates) ครอบคลุมทั้งรูปแบบ past-only, known-future และ categorical

Timestral ทำงานอย่างไร?

สถาปัตยกรรมของ Timestral เป็นแบบ causal, patch-based transformer ที่ใช้กลไก time attention และ variate attention โดยรุ่น 209M ประกอบด้วย 24 layers และมี embedding dimension ขนาด 768 ซึ่งแต่ละ patch จะครอบคลุม 32 time steps

การประมวลผลแบบ forward pass เพียงครั้งเดียวสามารถพยากรณ์ได้สูงสุด 1,024 steps หากต้องการระยะเวลาที่ยาวกว่านั้น ระบบจะทำงานแบบ block by block โดยส่งค่า median ของแต่ละบล็อกกลับไปเป็น context ในการประมวลผลถัดไป

Mistral ระบุถึงนวัตกรรมทางเทคนิค 4 ประการ ดังนี้:

Decoupled Horizon Forecasting (DHF): forecast tokens ที่เรียนรู้แล้วจะสามารถอ่านประวัติข้อมูลทั้งหมดได้ โดยค่าที่สังเกตได้จะคงอยู่ใน context แทนการถูกปิดบัง (masked) ซึ่งต่างจากเทคนิคใน Toto 2.0 และ TimesFM-3
Covariate-aware attention: แยกแยะอนุกรมข้อมูลเป็นเป้าหมาย (target) และตัวแปรอิสระประเภทต่างๆ โดยควบคุมทิศทางข้อมูลให้ไหลไปยังเป้าหมายเท่านั้น เพื่อป้องกันปัญหาข้อมูลในอนาคตรั่วไหล (future leakage)
Synthetic-first data: เน้นฝึกฝนด้วยข้อมูลสังเคราะห์ที่จำลองทั้งแนวโน้ม (trends), ฤดูกาล (seasonality) และความสัมพันธ์แบบไม่เป็นเส้นตรงอย่างครบถ้วน
Two-stage training: เริ่มจากการฝึกล่วงหน้าบนข้อมูลสังเคราะห์ที่ context 8,192 จากนั้นจึงฝึกต่อ (post-training) บนข้อมูลผสมที่มี context ยาวขึ้น 4 เท่า โดยใช้ pinball loss เป็นฟังก์ชันวัดผล

ประสิทธิภาพบน Benchmarks

ผลคะแนนด้านล่างนี้เป็นการทดสอบแบบ zero-shot จาก checkpoint เดียว อ้างอิงจากข้อมูลใน Timestral-209M model card

GIFT-Eval: MASE 0.658, CRPS 0.446 (ค่ายิ่งน้อยยิ่งดี)
TIME: MASE 0.626, CRPS 0.522 (ค่ายิ่งน้อยยิ่งดี)
fev-bench: SQL skill score 50.39, MASE skill score 39.49 (ค่ายิ่งมากยิ่งดี)

การเพิ่มขนาดพารามิเตอร์เริ่มเห็นผลต่างลดลงในรุ่นท็อป โดย Timestral-123M ทำคะแนน 0.659 MASE บน GIFT-Eval เทียบกับ 0.658 ในรุ่น 209M นอกจากนี้ โมเดลขนาด 28M ยังสามารถเอาชนะ Chronos-2 บน GIFT-Eval และ TIME ได้ ทั้งที่มีขนาดเล็กกว่าถึง 4 เท่า

ความเร็วการทำงานบน CPU

จากการทดสอบบน standard server CPU (8 threads) ในงานพยากรณ์ล่วงหน้า 1 วันจากข้อมูลย้อนหลัง 3 สัปดาห์ พบว่า โมเดล 5M ใช้เวลาเพียง 10 ms และโมเดล 209M ใช้เวลา 140 ms โดยรุ่น 123M ให้ประสิทธิภาพใกล้เคียงรุ่นท็อปมากที่สุดแต่มีความหน่วง (latency) น้อยกว่าถึง 25%

การเปรียบเทียบกับคู่แข่งในตลาด

Feature	Timestral-209M	TimesFM-3	Chronos-2	Toto-2.0-2.5B
ผู้พัฒนา	Mistral AI	Google Research	Amazon	Datadog
พารามิเตอร์	209M	330M	120M	2.5B
สถาปัตยกรรม	Causal patch transformer, DHF	Decoder-only	Encoder-only	Decoder-only
Context สูงสุด	32,768 steps	ไม่ระบุ	8,192 steps	ไม่ระบุ
ใบอนุญาต Weights	Modified MIT	Non-commercial	Apache 2.0	Apache 2.0
GIFT-Eval MASE	0.658	0.667*	0.698*	0.696

ข้อมูลอ้างอิงตาม Timestral-209M model card เนื่องจาก Google และ Amazon ไม่ได้เผยแพร่ตัวเลขเปรียบเทียบในหน้าโมเดลของตนเอง

วิธีการติดตั้งใช้งาน

นักพัฒนาสามารถติดตั้งผ่านคำสั่ง ```bash pip install git+https://github.com/mistralai/timestral.git

 
ปัจจุบัน Timestral 1.0 209M อยู่ในช่วง [Public Preview](https://docs.mistral.ai/models/timestral-1-0-209m) โดยผู้ใช้สามารถนำไปทำ fine-tuning ต่อได้ผ่าน [Mistral Forge](https://mistral.ai/products/forge/) และรองรับการติดตั้งแบบ on-prem, VPC หรือ air-gapped เพื่อความปลอดภัยสูงสุด
 
## ประเด็นสำคัญ
- มีให้เลือก 4 ขนาดที่สมดุลระหว่างความแม่นยำและทรัพยากรที่ใช้
- รุ่น 209M นำเป็นอันดับหนึ่งในกลุ่มโมเดล zero-shot บนหลายเบนช์มาร์กหลัก
- รองรับการประมวลผลบน CPU อย่างรวดเร็ว (10-140 ms)
- ใช้ใบอนุญาตแบบ Modified MIT ซึ่งยืดหยุ่นกว่าใบอนุญาตแบบ non-commercial ของ Google