tag: Quantization

เจาะลึกคู่มือการรัน Underdog Saluki 27B โมเดลขนาดเล็กประสิทธิภาพสูง พร้อมเปรียบเทียบการทำ quantization แบบ GSQ-RCO และการทดสอบประสิทธิภาพ Tool-Calling บน BFCL

เจาะลึกกลไกที่ทำให้ LLM ทำงานได้รวดเร็วผ่าน 5 โปรเจกต์ลงมือทำจริง ตั้งแต่การสร้างระบบจัดการหน่วยความจำไปจนถึงการเขียน GPU Kernel

คู่มือเปรียบเทียบรูปแบบโมเดลภาษาขนาดใหญ่ (LLM) ในปี 2026 อธิบายความแตกต่างระหว่างไฟล์คอนเทนเนอร์และวิธี Quantization พร้อมคำแนะนำการเลือกใช้งานให้เหมาะกับฮาร์ดแวร์แต่ละประเภท

Nunchux AI พัฒนา VC-Attention ซึ่งเป็น low-bit attention kernel แบบไม่ต้องเทรน ช่วยแก้ปัญหาคอขวดใน Video Diffusion Transformers ให้ประมวลผลวิดีโอความละเอียดสูงได้เร็วขึ้นอย่างมีนัยสำคัญ

นักวิจัยเปิดตัวเทคนิค Quantization-Aware Healing (QAH) ที่ช่วยฟื้นฟูประสิทธิภาพของโมเดลภาษาขนาดใหญ่หลังการบีบอัด ทำให้โมเดลขนาด 4-bit มีความแม่นยำสูงกว่าโมเดลต้นฉบับ 16-bit ในขณะที่ประหยัดทรัพยากรมากกว่าเดิม

Liquid AI เปิดตัวโมเดล LFM2.5 ในรูปแบบ GGUF 4-bit ที่ใช้เทคนิค Quantization-Aware Distillation (QAD) ช่วยให้คงประสิทธิภาพได้สูงถึง 97% ของรุ่น BF16 เดิม แต่ยังประหยัดหน่วยความจำและทำงานได้รวดเร็วตามมาตรฐาน Q4_0

Diffusers ผสานการทำงานกับ Nunchaku Lite ช่วยให้รันโมเดล Diffusion ขนาดใหญ่ด้วย Precision แบบ 4-bit (W4A4) ได้เร็วขึ้น 30% และลดการใช้ VRAM ลงถึงครึ่งหนึ่งบน GPU ระดับผู้บริโภค