Hugging Face เปิดตัว Carbon-X โมเดลภาษาด้าน DNA ขนาด 14.8B
Hugging Face เปิดตัว Carbon-X โมเดลภาษาด้าน DNA แบบเปิดที่มีพารามิเตอร์ขนาด 14.8B โดยเป็นโมเดลประเภท decoder-only จาก Hugging Face Bio ที่มีความสามารถโดดเด่นในการอ่านรหัส DNA ดิบผ่านแชทและตอบกลับเป็นภาษาอังกฤษได้ทันที โมเดลนี้สามารถทำนายการกลายพันธุ์ของโรค ระบุตำแหน่งเรกูลาทอรี่ (regulatory regions) จำแนกสิ่งมีชีวิต และทำนายเบสลำดับถัดไปได้อย่างแม่นยำ
การปล่อยน้ำหนักโมเดล (weights) อยู่ภายใต้สัญญาอนุญาต Apache 2.0 เพื่อให้ห้องปฏิบัติการต่างๆ สามารถประมวลผลข้อมูลที่ละเอียดอ่อนบน GPU ของตนเองได้เพื่อความปลอดภัย โดยโครงการนี้เป็นความร่วมมือระหว่าง Hugging Face, Zhongguancun Academy และ TIGEM / University of Naples Federico II
สรุปข้อมูลทางเทคนิค (TL;DR)
- ขนาด: พารามิเตอร์ 14.8B (dense, ไม่มี MoE) พร้อม context length 40,960 โทเคน
- การใช้งาน: รันบน GPU ขนาด 80 GB จำนวน 1 ตัว ในรูปแบบ bfloat16 ผ่าน vLLM หรือ Transformers โดยมีเวอร์ชัน GGUF อย่างเป็นทางการคือ Q8_0 (15.8 GB) และ Q4_K_M (9.6 GB)
- ประสิทธิภาพ: ทำคะแนนเฉลี่ย 66.7% จาก 5 DNA benchmark ซึ่งดีที่สุดในบรรดาโมเดลแบบเปิดที่ผ่านการทดสอบ
- จุดแข็ง: ทำได้ 74.9% ใน BioReason Coding ซึ่งสูงกว่าทุกโมเดลที่ทดสอบทั้งแบบเปิดและแบบปิด
- จุดอ่อน: ทำได้ 29.8% ใน GenomeQA สำหรับคำถามด้าน splice-site
กลไกการทำงานของ Carbon-X
Carbon-X พัฒนาต่อยอดจาก Qwen3-14B โดยให้ DNA และข้อความใช้ token stream ร่วมกันใน 1 decoder โดยไม่มี DNA encoder แยกต่างหาก โครงสร้างสำคัญคือ hybrid tokenizer ที่รักษา BPE vocabulary ของ Qwen3 ไว้ แล้วเพิ่ม DNA tokens อีก 5,515 โทเคน (ประกอบด้วย 6-mers, tail tokens และ markers) โดย 1 DNA token จะครอบคลุม 6 คู่เบส
โครงสร้างหลักใช้มาตรฐาน Qwen3 stack ที่มี 40 เลเยอร์, hidden size 5120 และ GQA พร้อม 8 KV heads กระบวนการฝึกฝนเริ่มจาก Embedding warmup โดยใช้โทเคน 10B เพื่อเรียนรู้ DNA embeddings ใหม่ จากนั้นเข้าสู่ช่วง Mid-training ด้วยโทเคน 302B ซึ่งเป็นการผสมข้อมูล DNA ดิบ ภาษาอังกฤษ และข้อมูลทางชีววิทยาเข้าด้วยกัน
ในขั้นตอนสุดท้าย โมเดลผ่านการทำ SFT 3 epochs ในชุดข้อมูลย่อยที่ตรวจสอบโดยผู้เชี่ยวชาญ และทำ RL ด้วยวิธี asynchronous GRPO ร่วมกับ TRL และ vLLM เพื่อปรับจูนผลลัพธ์ ทีมพัฒนาพบว่าการปรับ Learning Rate เป็นส่วนที่ท้าทายที่สุด เพื่อไม่ให้โมเดลลืมภาษาอังกฤษในขณะที่กำลังเรียนรู้ข้อมูล DNA
ประสิทธิภาพใน DNA Benchmark
จากการรายงานของ Hugging Face พบว่า Carbon-X มีคะแนนเฉลี่ยอยู่ที่ 66.7% ซึ่งสูงกว่า Qwen3-14B เดิมถึง 27 จุด และมีประสิทธิภาพใกล้เคียงกับโมเดลระดับแนวหน้าอย่าง GPT-6.1 Sol โดยทิ้งห่างในด้านการทำนายผลกระทบของตัวแปรการเข้ารหัส (coding-variant effects)
| Benchmark | Carbon-X | GPT-6.1 Sol (Max) | Opus 5.5 (Max) | Kimi K3 (Low) |
|---|---|---|---|---|
| BioReason Coding | 74.9 | 71.0 | 70.3 | 53.9 |
| BioReason Non-SNV | 85.1 | 91.7 | 94.8 | 65.3 |
| GenomeQA | 63.6 | 67.2 | 62.2 | 52.0 |
| NextBase | 39.4 | 32.9 | 1.1 | 30.6 |
| FrontierVEP | 70.4 | 74.9 | 76.2 | 50.1 |
| Average | 66.7 | 67.5 | 60.9 | 50.4 |
นอกจากนี้ Carbon-X ยังรักษาทักษะการเข้าใจภาษาทั่วไปได้ดี โดยมีความแม่นยำระดับ prompt-level strict อยู่ที่ 79.3% ใน IFEval และยังมีประสิทธิภาพเพิ่มขึ้นเมื่อใช้ร่วมกับโมเดลอื่นในฐานะ sub-agent เช่น การช่วยให้ดัชนี DNA ของ Kimi K3 เพิ่มขึ้นจาก 49.4% เป็น 60.5%
ค่าใช้จ่ายและการติดตั้ง
Carbon-X ช่วยลดค่าใช้จ่ายในการประมวลผล (inference cost) ได้มหาศาล โดยประเมินว่าค่าใช้จ่ายต่อปัญหาอยู่ที่ประมาณ 1/1,800 ของ GPT-6.1 Sol เช่น การให้คะแนนตัวแปร ClinVar 2.4 ล้านรายการ จะใช้เงินเพียง 300 ดอลลาร์ เทียบกับ 32,000 ถึง 4 ล้านดอลลาร์ในโมเดลระดับท็อปอื่นๆ
สำหรับการติดตั้งใช้งาน สามารถทำได้ผ่าน vLLM:
vllm serve HuggingFaceBio/Carbon-X --trust-remote-codeหรือผ่าน Transformers เวอร์ชัน 5 ขึ้นไป โดยกำหนดค่า trust_remote_code=True สำหรับ DNA tokenizer
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร