Nums AI เปิดตัว Causilo โมเดลข้อมูลตารางอันดับ 1 ใน TabArena

Nums AI ได้เปิดตัว Causilo ซึ่งเป็น Tabular Foundation Model ที่ผ่านการ Pretrain สำหรับงาน Classification และ Regression โดยมาพร้อมกับอินเทอร์เฟซแบบ scikit-learn ที่ใช้งานง่าย ใช้สัญญาอนุญาตซอร์สโค้ดแบบ Apache-2.0 และเปิดให้ดาวน์โหลด Pretrained Weights บน Hugging Face เพื่อการวิจัย

ในการทดสอบบน TabArena โมเดลนี้สามารถทำค่า Elo ได้สูงสุดในบรรดา Single Models ทั้งสำหรับงาน Classification และ Regression อย่างไรก็ตาม การนำไปใช้งานจริงในปัจจุบันเน้นเพื่อการวิจัยและประเมินผล ทั้งบน CUDA หรือ CPU ส่วนการใช้งานเชิงพาณิชย์และการใช้งาน API แบบโฮสต์ จำเป็นต้องขอใบอนุญาตแยกต่างหากจาก Nums AI

Causilo ทำหน้าที่อะไร

Causilo เป็นโมเดลที่ใช้การเรียนรู้แบบ In-context Learning โดยการเรียกใช้ฟังก์ชัน fit จะไม่ใช่การอัปเดต Pretrained Weights แต่เป็นการเก็บข้อมูลฝึกฝนไว้เป็นบริบท (Context) เพื่อทำนายข้อมูลใหม่ผ่านการส่งข้อมูลไปข้างหน้า (forward pass) เพียงครั้งเดียว ซึ่ง Nums AI ระบุว่าได้ Pretrain โมเดลนี้ด้วยข้อมูลสังเคราะห์เท่านั้น โดยไม่มีชุดข้อมูลจาก TabArena ปะปนอยู่

ตัวโมเดลรองรับข้อมูลนำเข้าทั้ง NumPy arrays และ pandas DataFrames รวมถึงจัดการฟีเจอร์แบบหมวดหมู่และค่าที่ขาดหายไปได้โดยอัตโนมัติ สำหรับงาน Classification รองรับสูงสุด 10 คลาส ส่วนงาน Regression ใน Version 1.0.1 ได้เพิ่มการคืนค่าแบบมัธยฐานและควอนไทล์นอกเหนือจากค่าเฉลี่ยปกติ

สถาปัตยกรรม: Refinement, Compression, In-Context Learning

สถาปัตยกรรมของ Nums AI แบ่งออกเป็น 3 ระยะหลัก ได้แก่ refinement, compression และ in-context learning โดยฟีเจอร์จะถูกจัดกลุ่มชุดละ 3 รายการ และฝังข้อมูล (embedded) ด้วยความถี่ sine และ cosine ที่เรียนรู้มา 16 ความถี่ สำหรับค่าที่ขาดหายไปจะมีเวกเตอร์เฉพาะในการจัดการ

ในขั้นตอนระดับ Column จะใช้ latent slots 128 ช่องเพื่อสรุปข้อมูลจากแถวฝึกฝน ส่วนขั้นตอนระดับ Row จะใช้ latent tokens 4 ตัวเพื่อให้กลุ่มฟีเจอร์มีปฏิสัมพันธ์กันผ่าน cross-attention ซึ่งช่วยรักษาต้นทุนการประมวลผลให้เป็นแบบเส้นตรง (linear) ตามจำนวนฟีเจอร์ จากนั้นบล็อกการรวมกลุ่มจะบีบอัดข้อมูลแต่ละแถวเป็นเวกเตอร์ขนาด 512 มิติก่อนส่งเข้าบล็อกการทำนาย 12 เลเยอร์

ผลลัพธ์ TabArena

จากการทดสอบด้วย TabArena pipeline อย่างเป็นทางการ บนชุดข้อมูล 51 ชุด พบว่า Causilo ทำคะแนน Elo รวมได้ที่ 1794 ซึ่งถือเป็นอันดับสูงสุดในกลุ่มโมเดลเดี่ยว

Task	Causilo Elo	Next best single model	Causilo improvability
Overall	1792.9	TabFM, 1764.4	0.0684
Classification	1771.8	EXAONE Tabular, 1758.8	0.0875
Regression	2032.6	TabFM, 1992.8	0.0125

ความสำเร็จนี้ทำให้ Causilo เหนือกว่า TabFM ของ Google Research และ EXAONE Tabular ของ LG AI Research รวมถึงโมเดลจาก Amazon และ Xiaomi แม้ว่าหากรวมระบบแบบ Ensemble ทั้งหมด Causilo จะอยู่อันดับ 3 จาก 88 รายการก็ตาม

ผลลัพธ์ ScoringBench และความเร็ว

บน ScoringBench ซึ่งทดสอบงาน Regression ด้วยเกณฑ์ที่เข้มงวด Causilo 1.0.1 ครองอันดับ 1 ทั้งในด้าน CRPS, R² และ RMSE จากการทดสอบ 101 ชุดข้อมูล นอกจากนี้ในการทดสอบความเร็วบน GPU H100 พบว่า Causilo ทำงานได้รวดเร็วที่สุดในขั้น fit และ predict เมื่อเทียบกับโมเดลคู่แข่ง

Model	Fit (วินาทีต่อ 1k แถว)	Predict (วินาทีต่อ 1k แถว)	GPU memory (GiB)
Causilo	2.504	0.251	8.15
TabICLv2	3.449	0.303	8.37
TabPFN-3	4.18	0.686	0.88

การเริ่มต้นใช้งาน

Causilo รองรับ Python 3.10 ถึง 3.12 และ PyTorch 2.13 ขึ้นไป โดยจะดาวน์โหลด checkpoint อัตโนมัติเมื่อเริ่มใช้งานครั้งแรก

# pip install causilo
from causilo import CausiloClassifier, CausiloRegressor
clf = CausiloClassifier(n_estimators=8, random_state=42)
clf.fit(X_train, y_train)
proba = clf.predict_proba(X_test)
reg = CausiloRegressor()
reg.fit(X_train, y_train)
bands = reg.predict(X_test, output_type="quantiles", quantiles=[0.05, 0.5, 0.95])

ผู้ที่สนใจสามารถทดลองใช้งานผ่าน Hugging Face demo Space ได้ทันที

ประเด็นสำคัญ

Causilo ครองอันดับ 1 ใน TabArena สำหรับกลุ่ม Single Models ในทุกประเภทงาน
ใช้เทคนิค Row mixing ผ่าน latent tokens 4 ตัว เพื่อควบคุมต้นทุนการคำนวณให้สัมพันธ์กับจำนวนฟีเจอร์แบบเส้นตรง
เปิดซอร์สโค้ดแบบ Apache-2.0 แต่จำกัดการใช้ Model Weight เฉพาะเพื่อการวิจัยเท่านั้น
การอัปเดตเวอร์ชัน 1.0.1 ช่วยให้การทำนายช่วงความเชื่อมั่นในงาน Regression ใช้งานได้ดีขึ้น