Local AI Weekly #2: ยุคแห่งเอเจนท์ครองเมืองและการรันโมเดลในเครื่อง
ยินดีต้อนรับกลับสู่ Local AI Weekly ครับ แม้ผมจะเคยสัญญาว่าจะส่งทุกสัปดาห์แต่กลับหายไปร่วมเดือนสำหรับฉบับที่สองนี้ ดังนั้นขอเรียกฉบับแรกว่าเป็นตอนนำร่อง (pilot episode) แล้วกันนะครับ จากนี้ไปรายการจะรันเป็นรายสัปดาห์แน่นอน 🤘
ฉบับนี้เราจะเน้นไปที่เรื่องเอเจนท์ (agents) เป็นหลัก เนื่องจากเป็นพื้นที่ที่เครื่องมือ Local AI ที่น่าสนใจที่สุดกำลังเกิดขึ้นในขณะนี้
ก่อนจะไปดูเนื้อหาทั้งหมด ผมขอขอบคุณ Atomic Chat ผู้สนับสนุน Local AI Weekly ฉบับนี้ครับ โดย Atomic Chat ช่วยให้คุณรัน open-source LLMs ได้อย่างเป็นส่วนตัวบนอุปกรณ์ของคุณเองแบบออฟไลน์เต็มรูปแบบ พร้อมเทคโนโลยี Turboquant ที่ช่วยให้การทำ local inference เร็วขึ้นและรองรับ context windows ที่ยาวขึ้น ช่วยให้รันโมเดลใหญ่ๆ ได้ราบรื่น
🧪 บนโต๊ะทดลองของผม: Unsloth
สัปดาห์นี้ผมได้ลองดาวน์โหลด Unsloth มาใช้งานครับ มันเป็นเฟรมเวิร์กโอเพนซอร์สสำหรับการ fine-tuning และการรันโมเดลแบบเปิดให้เร็วขึ้นโดยใช้ VRAM น้อยลงมาก จุดเด่นที่หลายคนรู้จักคือ Dynamic GGUF quants ซึ่งช่วยให้รันโมเดลระดับ 27B ได้ใน RAM ประมาณ 17GB และยังมีเวอร์ชัน 1-bit ที่บีบลงไปได้ถึง 8GB
อย่างไรก็ตาม นี่เป็นเพียงการแจ้งข่าวไม่ใช่การรีวิว เนื่องจากผมยังไม่ได้ทดสอบด้วยตัวเองอย่างละเอียด ผมจะลองใช้งานบน ZimaCube ที่ใช้ Nvidia RTX Ada 2000 แล้วจะมารายงานผลฉบับเต็มในตอนต่อๆ ไปครับ
🔍 ค้นพบเครื่องมือ AI
สัปดาห์นี้ผมพบเครื่องมือโอเพนซอร์ส 3 อย่างที่จะช่วยให้เอเจนท์ในเครื่องของคุณทำงานได้อย่างมีประสิทธิภาพและมีความรับผิดชอบมากขึ้น
ตัวแรกคือ agent-inspect ซึ่งเป็น debugger แบบ local-first สำหรับ AI เอเจนท์ที่เขียนด้วย TypeScript โดยจะแสดงการทำงานเป็นโครงสร้างต้นไม้ที่อ่านง่าย ช่วยให้เห็นทุกการเรียกใช้เครื่องมือ (tool call) และจุดที่เกิดความผิดพลาดได้อย่างแม่นยำ ทั้งยังตั้งค่าให้แจ้งเตือนในระบบ CI เมื่อเอเจนท์ทำงานผิดพลาดได้ด้วย
ถัดมาคือ AutoMem เลเยอร์ความจำถาวรที่เชื่อมต่อกับเอเจนท์ผ่าน MCP โดยปกติเอเจนท์มักจะเริ่มงานใหม่จากศูนย์เสมอ แต่ AutoMem จะเก็บข้อมูลสำคัญไว้ในกราฟความสัมพันธ์และดัชนีเวกเตอร์ ทำให้การดึงข้อมูลกลับมามีทั้งคำตอบและบริบทที่เกี่ยวข้อง โดยสามารถรันผ่าน Docker แบบออฟไลน์ในเครื่องได้โดยตรง
ตัวที่สามคือ BrowserSkill จาก Tencent ที่ช่วยให้ AI เอเจนท์สามารถใช้เบราว์เซอร์ที่คุณล็อกอินไว้แล้วได้ แทนที่จะใช้ sandbox ใหม่ ความเจ๋งคือมันจะแยกหน้าต่างทำงานให้เห็นชัดเจน และจะขอยืมแท็บที่คุณเปิดอยู่เมื่อจำเป็นเท่านั้น หากเจอ captcha หรือหน้าล็อกอิน มันจะส่งการควบคุมกลับมาให้คุณจัดการก่อนทำงานต่อ
🖥 ฮาร์ดแวร์ของคุณรันโมเดลไหนได้จริงๆ บ้าง?
นี่คือคำถามที่ผมได้รับบ่อยที่สุด เพราะการดาวน์โหลดโมเดลมาลองผิดลองถูกเองนั้นเสียทั้งเวลาและแบนด์วิดท์อย่างมาก
llmfit คือคำตอบครับ มันเป็นเครื่องมือบนเทอร์มินัลที่จะตรวจจับสเปก CPU, RAM และ GPU ของคุณ แล้วจัดอันดับโมเดลแบบเปิดที่เหมาะสมที่สุดมาให้ โดยคำนวณจากขนาด ความเร็ว และคุณภาพ หากคุณใช้ Ollama อยู่ก็สามารถดึงโมเดลมาใช้งานได้ทันที เครื่องมือนี้เป็นโอเพนซอร์สและเขียนด้วยภาษา Rust ครับ
🧩 Open WebUI เข้าสู่กระแสหลัก
สัญญาณที่บ่งบอกว่า Open WebUI กำลังเป็นที่นิยมอย่างมาก คือการที่ผู้ให้บริการ managed hosting เริ่มนำเสนอเป็นบริการแบบคลิกเดียว เช่น PikaPods ที่เปิดให้รันได้ทันที
ทั้งนี้ ผมทำงานเป็นที่ปรึกษาด้านการเติบโตให้กับ PikaPods ด้วย จึงขอให้พิจารณาข้อมูลส่วนนี้ประกอบ แต่ประเด็นสำคัญคือ AI front-end แบบ self-hosted ได้ก้าวข้ามจากการเป็นของเล่นของนักประดิษฐ์ไปสู่บริการที่ผู้คนต้องการใช้งานจริงจังตลอดเวลาโดยไม่ต้องจัดการเซิร์ฟเวอร์เองแล้ว
🎙 การถอดความเสียง (Voice transcription) มาถึง Linux แล้ว
อย่างที่ผมเคยบอกไว้ในฉบับแรกว่า Voice AI กำลังจะมาแรง และการปล่อยตัว Bionic ของ LM Studio เวอร์ชัน 1.1.3 ก็ยืนยันเรื่องนี้ได้ดี เพราะตอนนี้รองรับการถอดความเสียงบน Linux แล้ว รวมถึงบนเครื่องที่ใช้ NVIDIA GPU ด้วย
อย่างไรก็ตาม LM Studio ยังคงเป็นซอฟต์แวร์แบบ closed source และสำหรับชาว Linux ตัว Bionic AppImage มีขนาดใหญ่ถึง 1 GB ซึ่งถือเป็น AppImage ที่ใหญ่ที่สุดเท่าที่ผมเคยเห็นมาเลยครับ
📡 ข่าวสารโมเดลแบบเปิด
วงการโมเดลแบบเปิดยังคงพัฒนาไปอย่างรวดเร็ว โดยเฉพาะทิศทางของสถาปัตยกรรม MoE (Mixture-of-Experts) ที่กำลังมาแรง ซึ่งมี 3 โมเดลที่โดดเด่นในสัปดาห์นี้
Qwen3.8-Flash-Next จาก Alibaba เป็นโมเดล MoE ขนาด 125B ที่ใช้พารามิเตอร์เพียง 6B ต่อโทเค็น ซึ่งเป็นพรีวิวของตระกูล Qwen4 ที่กำลังจะมาถึง แต่ยังคงต้องการพลังฮาร์ดแวร์ที่สูงมากในการรัน
DeepSeek V4.1 Flash ก็เปิดตัวแล้วเช่นกัน เป็น MoE ขนาดมหึมา 552B แต่ใช้พารามิเตอร์เพียง 8B ในฝั่ง input และ 16B ในฝั่ง output พร้อมสถาปัตยกรรมบีบอัด KV cache แบบใหม่ ซึ่งตอนนี้กำลังรอให้ชุมชนทำ quantization เพื่อให้รันได้ง่ายขึ้นครับ
สำหรับชาว homelab โมเดล Ornith-1.5 จาก DeepReinforce ดูจะเอื้อมถึงที่สุด โดยมีรุ่น MoE 35B ที่ใช้เพียง 3B ต่อโทเค็นและรันบนการ์ดจอ 24GB ใบเดียวได้สบายๆ รวมถึงรุ่น 9B ที่เล็กพอสำหรับรันบนโทรศัพท์มือถือด้วย
👀 จับตาดูยักษ์ใหญ่เทคโนโลยี
มีสองประเด็นสำคัญที่น่าสนใจ ประเด็นแรกคือ OpenRouter กำลังถูกซื้อกิจการโดย Stripe แม้จะยืนยันว่าผลิตภัณฑ์และการทำงานจะเป็นอิสระเหมือนเดิม แต่ก็ต้องจับตาดูต่อไปเพราะเครื่องมือ Local AI จำนวนมากพึ่งพาเกตเวย์นี้อยู่
ประเด็นที่สองคือการที่ Dario Amodei จาก Anthropic เสนอบทความ "We Must Pace the Frontier" เพื่อให้แล็บ AI ชะลอความเร็วในการพัฒนาขีดความสามารถของโมเดลลง ซึ่งได้รับความเห็นชอบจาก Sam Altman, Elon Musk และ Demis Hassabis
อย่างไรก็ตาม ฝั่งการเมืองอย่างประธานาธิบดี Donald Trump กลับปฏิเสธแนวคิดนี้อย่างสิ้นเชิง โดยมองว่าใครชนะด้าน AI จะเป็นผู้ชนะในทุกสิ่ง ซึ่งหากฝั่งแล็บยักษ์ใหญ่ชะลอตัวลงจริง แต่ฝั่ง open weights ยังพัฒนาต่อไปเรื่อยๆ ก็นับเป็นข่าวดีสำหรับคนรัก Local AI อย่างพวกเราครับ
🗂 ศัพท์ AI: Harness
ช่วงนี้คุณอาจเห็นคำว่า "harness" บ่อยขึ้น ถ้าเปรียบ LLM เป็นสมองที่แช่อยู่ในโหลซึ่งเก่งแค่การทำนายข้อความ harness ก็คือ "ร่างกาย" ที่ทำให้สมองนั้นทำงานได้จริง
harness จะคอยรันลูปงาน เช่น ส่งคำสั่งไปยังโมเดล อ่านค่าการเรียกใช้เครื่องมือ (tool calls) ไปรันงานจริง แล้วป้อนผลลัพธ์กลับเข้าไปใหม่จนกว่างานจะเสร็จ รวมถึงจัดการเรื่องความจำและกฎความปลอดภัยต่างๆ ด้วย ปัจจุบันมูลค่าจึงย้ายไปอยู่ที่การสร้าง harness ที่ปรับแต่งให้เข้ากับข้อมูลและเวิร์กโฟลว์เฉพาะของแต่ละคนมากกว่าตัวโมเดลเปล่าๆ
⚡ เคล็ดลับด่วน: วอร์มโมเดล Ollama ของคุณไว้เสมอ
หากคุณใช้ Ollama แล้วพบว่าการตอบคำถามแรกหลังจากทิ้งช่วงไปนานนั้นช้าผิดปกติ สาเหตุเพราะค่าเริ่มต้นของ Ollama จะถอนโมเดลออกจาก VRAM หลังจากไม่มีการใช้งานเกิน 5 นาทีเพื่อคืนพื้นที่ให้ GPU
คุณสามารถแก้ไขได้โดยตั้งค่าตัวแปรสภาพแวดล้อม OLLAMA_KEEP_ALIVE ให้ยาวขึ้น เช่น 30m หรือตั้งเป็น -1 เพื่อให้โมเดลค้างอยู่ในหน่วยความจำตลอดเวลา ซึ่งเหมาะมากสำหรับเครื่องที่ใช้งานคนเดียวและต้องการความเร็วในการตอบสนองที่สม่ำเสมอ
🎫 กิจกรรมที่น่าสนใจ
สำหรับผู้ที่สนใจเรื่องเอเจนท์ มีงานคอนเฟอเรนซ์ระดับโลกที่กำลังจะมาถึง 2 งาน
AGNTCon + MCPCon Europe จัดที่อัมสเตอร์ดัม วันที่ 17-18 กันยายนนี้ ใช้รหัส ITSFOSS_50 เพื่อรับส่วนลด และ AGNTCon + MCPCon North America ที่ซานโฮเซ วันที่ 22-23 ตุลาคม ใช้รหัส ITSFOSS เพื่อรับส่วนลด 20% ครับ
ทิ้งท้าย...
หวังว่าเนื้อหาฉบับนี้จะเป็นประโยชน์ต่อการสร้างสรรค์โปรเจกต์ AI ของคุณนะครับ หากคุณกำลังรันโมเดลอะไรอยู่ในเครื่องตอนนี้ ตอบกลับมาเล่าให้ผมฟังได้ ผมอ่านทุกข้อความครับ
พบกันใหม่สัปดาห์หน้าครับ!
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร