Local AI Weekly #4: เจาะลึกการรัน AI แบบ Local ให้ได้ประสิทธิภาพ

ยินดีต้อนรับสู่ Local AI Weekly #4

คำว่า "Local AI" ในปัจจุบันยังมีความหมายที่หลากหลาย บางครั้งตัวโมเดลรันอยู่บนคอมพิวเตอร์ของคุณโดยตรง แต่บางครั้งมีเพียงแค่แอปพลิเคชันเท่านั้นที่รันบนเครื่อง ในขณะที่ตัวโมเดลและการประมวลผลการแชทยังคงรันอยู่ที่อื่น

มีเครื่องมือที่อ้างว่าเป็น "Local AI" จำนวนมากที่ไม่ได้ทำงานแบบ Local จริงๆ ดังนั้นก่อนเลือกใช้เครื่องมือใดๆ ควรพิจารณาสามประเด็นหลักคือ การประมวลผล (Inference) เกิดขึ้นที่ไหน, ยังจำเป็นต้องใช้บัญชีหรือบริการเครือข่ายหรือไม่ และใบอนุญาต (License) อนุญาตให้คุณทำอะไรได้บ้าง เครื่องมือ Local AI ที่ดีที่สุดคือเครื่องมือที่ไม่จำเป็นต้องพึ่งพาปัจจัยภายนอกเหล่านั้นเลย

🧪 บนโต๊ะทดลองของฉัน

ทีม It's FOSS ได้เปลี่ยนจาก Discord มาใช้ Buzz สำหรับการสื่อสารภายใน ซึ่งเป็นผลงานของ Jack Dorsey ผู้ก่อตั้ง Twitter โดย Buzz เป็นเครื่องมือสื่อสารแบบกระจายศูนย์ที่รองรับทั้งมนุษย์และ Agent ซึ่งตัว Agent สามารถรันได้ทั้งบนเซิร์ฟเวอร์ระยะไกลหรือรันผ่าน harness ในเครื่องด้วยโปรโตคอล ACP

อย่างไรก็ตาม ตัวแอปยังคงมีข้อบกพร่องบางประการ เช่น การวางภาพจากคลิปบอร์ดลงในแชทที่ยังทำไม่ได้ และระบบแจ้งเตือนบนเดสก์ท็อปที่ทำงานเฉพาะกับข้อความส่วนตัวเท่านั้น แต่สำหรับการใช้งานในตอนนี้ถือว่ายังอยู่ในเกณฑ์ที่รับได้

🔍 ค้นพบเครื่องมือ AI

Rick Timmis นักพัฒนาจาก Kubutu กำลังพัฒนา Klara ซึ่งเป็นผู้ช่วย AI บนเดสก์ท็อปสำหรับ KDE Plasma โดยเน้นการควบคุมเครื่องผ่านคำสั่งเสียง ซึ่งขณะนี้โครงการยังอยู่ในช่วงการพัฒนา

อีกหนึ่งเครื่องมือคือ OpenMuse แอปพลิเคชัน Personal-agent ที่ใช้ใบอนุญาตแบบ MIT รองรับทั้ง Browser worker และการรันบน Linux ผ่าน Docker แม้จะสามารถโฮสต์เองได้ แต่การตั้งค่ายังคงต้องพึ่งพาคีย์จาก CopilotKit Intelligence และงานบางประเภทจะถูกส่งไปยังผู้ให้บริการคลาวด์เป็นหลัก แม้จะรองรับ endpoint ของ OpenAI แต่ยังไม่มีการระบุการรองรับ Ollama แบบ Native ไว้ในเอกสาร จึงยังไม่ใช่ Offline agent ที่น่าไว้วางใจเต็มที่

🎫 รับการรับรอง MCP

Linux Foundation เริ่มเสนอการรับรองด้าน AI แล้ว โดยใบเซอร์ Model Context Protocol Associate เหมาะสำหรับผู้ที่ต้องการสร้างระบบเชื่อมต่อ MCP หรือต้องการเพิ่มความน่าเชื่อถือด้าน AI ในเรซูเม่ ซึ่งเป็นโอกาสที่ดีในการเรียนรู้ทักษะใหม่ๆ ในสายงานนี้

📡 ข่าวสาร Open Model

OpenDecider แสดงให้เห็นถึงการใช้โมเดลขนาดเล็กที่มีประสิทธิภาพ โดยเน้นการตอบคำถามในขอบเขตจำกัด เช่น การจัดคิว Ticket แทนการเขียนคำตอบยาวๆ โมเดลรุ่น Nano มีพารามิเตอร์เพียง 400M ส่วนรุ่น Small ขนาด 4B เป็น Adapter ที่พัฒนาต่อจาก Qwen

ผู้พัฒนาเผยว่าทั้งคู่ผ่านการกลั่นกรอง (Distilled) มาจากโมเดลขนาดใหญ่ โดยรุ่น Nano ใช้หน่วยความจำ 2.0 GiB และรุ่น Small ใช้ 8.9 GiB ซึ่งสะท้อนว่าเราไม่จำเป็นต้องใช้โมเดลยักษ์ใหญ่เสมอไป โมเดลขนาดเล็กสามารถทำหน้าที่คัดกรองงานเบื้องต้น (Triage) ก่อนส่งต่อให้ Agent หลักที่ประมวลผลช้ากว่าได้

👀 ติดตาม Big Tech

NVIDIA ประกาศเปิดตัว PAIR เพื่อช่วยให้การติดตั้งโมเดลแบบ Local ใน Hermes และ OpenClaw ง่ายขึ้น โดยบน Windows สามารถติดตั้งได้ในคลิกเดียว ส่วนเวอร์ชัน Linux กำลังจะตามมาในเร็วๆ นี้ ทั้งนี้อย่าสับสนกับรุ่นเบต้าของ Linux PAIR ที่มีให้ใช้งานอยู่แล้วในปัจจุบัน

นอกจากนี้ NVIDIA ยังอ้างว่าการปรับแต่ง llama.cpp บน RTX 5090 ช่วยเพิ่ม Throughput ได้สูงสุดถึง 1.9 เท่า อย่างไรก็ตาม นี่เป็นตัวเลขทดสอบจากผู้ผลิตบนฮาร์ดแวร์เฉพาะทาง ซึ่งอาจแตกต่างจากการใช้งานจริงบนเครื่องทั่วไป

🗂 คำศัพท์ AI: Distillation

ลองนึกภาพครูผู้รอบรู้ที่มีสมองขนาดมหึมาจนต้องอยู่ในอาคารโรงเรียนขนาดใหญ่เท่านั้น AI Distillation ก็เหมือนการที่ครูคนนั้นแบ่งปันเคล็ดลับการเรียนรู้ให้กับนักเรียนตัวน้อย

แทนที่จะให้นักเรียนอ่านตำราเรียนจำนวนมหาศาลเอง ครูจะสอนทางลัดและวิธีคิดในแต่ละโจทย์ให้ดู ทำให้นักเรียนสามารถฉลาดได้เกือบเท่าครูแต่มีขนาดสมองที่เล็กกว่ามาก คุณสามารถศึกษาเพิ่มเติมเกี่ยวกับ Knowledge Distillation ได้ที่นี่

😂 มีม

เมื่อ Open-weights ที่ปล่อยออกมาดูจะคุ้นหน้าคุ้นตาเกินไปสักหน่อย...

⚡ เคล็ดลับด่วน: สำรองข้อมูล Hermes agent ของคุณ

ต่อเนื่องจากสัปดาห์ที่แล้ว สัปดาห์นี้ขอแนะนำให้คุณตรวจสอบความพร้อมในการกู้คืนระบบ หากคุณใช้งาน Hermes สามารถใช้คำสั่ง hermes backup เพื่อสร้างไฟล์ ZIP ที่รวมทั้งการตั้งค่าและสถานะต่างๆ โดยใช้คำสั่ง hermes backup --keep N เพื่อจำกัดจำนวนไฟล์สำรอง และสามารถใช้ สคริปต์ Cron job เพื่อรันการสำรองข้อมูลตามกำหนดเวลาได้

ข้อควรระวังคือ ไฟล์สำรองเหล่านี้อาจมีข้อมูลสำคัญ เช่น Credentials และ Memory ดังนั้นควรเข้ารหัสไฟล์ก่อนย้ายออกนอกเครื่อง และไม่ควรนำไฟล์ ZIP นี้ไปฝากไว้บน Git แม้จะเป็น Repository ส่วนตัวก็ตาม

หากคุณสนใจติดตามข่าวสารแบบนี้ทุกสัปดาห์ สามารถ สมัครรับข้อมูล Local AI Weekly ได้ที่นี่

สมัครรับข้อมูล Local AI Weekly

พบกันใหม่สัปดาห์หน้า