tag: Bonsai 27B

วิธีติดตั้ง Bonsai-27B โมเดลภาษา 1-Bit บน Local ด้วย PrismML llama.cpp และ OpenAI API

วิธีติดตั้ง Bonsai-27B โมเดลภาษา 1-Bit บน Local ด้วย PrismML llama.cpp และ OpenAI API

· By: AttapolK
สอนการติดตั้งและใช้งานโมเดล Bonsai-27B ขนาด 1-bit บนเครื่องส่วนตัวหรือ Colab ผ่าน llama.cpp เวอร์ชันพิเศษของ PrismML พร้อมรองรับการเชื่อมต่อผ่าน OpenAI Python Client
Bonsai 27B โมเดล Reasoning แบบโอเพนซอร์สที่รันบน iPhone ได้จริง

Bonsai 27B โมเดล Reasoning แบบโอเพนซอร์สที่รันบน iPhone ได้จริง

· By: SirilukP
PrismML ประสบความสำเร็จในการบีบอัดโมเดล AI ขนาด 27 หมื่นล้านพารามิเตอร์ให้เหลือไม่ถึง 4 GB โดยยังคงประสิทธิภาพเดิมได้สูงถึง 90% และมีข่าวว่า Apple บรรลุข้อตกลงเริ่มทดสอบเทคโนโลยีนี้แล้ว