tag: Llama.cpp

ผู้ใช้ Reddit แชร์ความล้มเหลวสุดฮาหลังพยายามเขียนระบบรันโมเดลภาษาด้วย WebGL2 จน AI ตอบกลับเป็นภาษาประหลาดและเครื่องหมายตกใจรัวๆ

ทดสอบโมเดล Humanizer 12B แบบ Local ที่แจกฟรีและมียอดดาวน์โหลดหลักแสน เพื่อดูว่าจะสามารถรีไรท์เนื้อหา AI ให้ผ่านเครื่องมือตรวจจับได้จริงตามคำอ้างหรือไม่

เจาะลึกคู่มือการรัน Underdog Saluki 27B โมเดลขนาดเล็กประสิทธิภาพสูง พร้อมเปรียบเทียบการทำ quantization แบบ GSQ-RCO และการทดสอบประสิทธิภาพ Tool-Calling บน BFCL

นักพัฒนาเปิดตัว DigUp แอปสำหรับ macOS ที่ใช้โมเดล EmbeddingGemma 2 ค้นหาข้อมูลภายในไฟล์ผ่านข้อความ เสียง และวิดีโอได้โดยไม่ต้องส่งข้อมูลออกนอกเครื่อง

Nous Research พัฒนา Hermes Desktop ให้รองรับการตั้งค่า AI แบบโลคอลผ่านการคลิกเพียงครั้งเดียว โดยระบบจะคำนวณสเปกฮาร์ดแวร์ เลือกโมเดลที่เหมาะสมที่สุด และดาวน์โหลดพร้อมรันให้โดยอัตโนมัติ

แนวทางการรัน Muse Glimmer บนเครื่องส่วนตัวโดยใช้ GPU RTX 3090 ร่วมกับเทคนิค DFlash และเครื่องมือ Pi เพื่อสร้างระบบ AI เขียนโค้ดแบบ Agentic ที่รวดเร็ว ปลอดภัย และมีประสิทธิภาพสูง

สอนการติดตั้งและใช้งานโมเดล Bonsai-27B ขนาด 1-bit บนเครื่องส่วนตัวหรือ Colab ผ่าน llama.cpp เวอร์ชันพิเศษของ PrismML พร้อมรองรับการเชื่อมต่อผ่าน OpenAI Python Client

คู่มือการติดตั้งและใช้งาน Qwythos-9B-Claude-Mythos-5-1M โมเดลเขียนโค้ดประสิทธิภาพสูงบนเครื่องตนเองผ่าน llama.cpp พร้อมฟีเจอร์ MTP speculative decoding เพื่อความเร็วสูงสุด

นักพัฒนา GnLOLot ปล่อยโมเดลภาษาขนาด 1B ที่เลียนแบบการคิดของ Claude Fable 5 โดยเวอร์ชันเล็กสุดใช้พื้นที่เพียง 657MB และรองรับ Context Window สูงถึง 128K ทำให้สามารถรันบนเครื่องทั่วไปได้โดยไม่ต้องผ่านคลาวด์