Local AI Weekly #8: Sam Altman กับแนวคิดดึง RAM ของคุณไปใช้

Sam Altman ซีอีโอของ OpenAI แสดงทัศนะว่าปัจจุบันมี DRAM ปริมาณมหาศาลที่กระจายตัวอยู่ในคอมพิวเตอร์ส่วนบุคคล ซึ่งถูกใช้งานเพียง 5% ของเวลาทั้งหมดเท่านั้น เขาเปรียบเทียบว่าทรัพยากรเหล่านี้จะสร้างคุณค่าได้มากกว่าหากย้ายไปอยู่ใน data center เพื่อรองรับการประมวลผลที่หนักหน่วง

อย่างไรก็ตาม การมี RAM ที่เหลือว่างไว้คือหลักประกันของความเป็นเจ้าของคอมพิวเตอร์ เพราะไม่มีใครสามารถมาเช่าต่อ ขึ้นราคา หรือปิดสวิตช์การใช้งานของคุณได้ ความเป็นอิสระนี้เองคือหัวใจสำคัญที่ทำให้การรัน AI แบบ Local ยังคงมีความหมาย ในฉบับนี้เราจึงรวบรวมข้อมูลที่จะช่วยให้ RAM ของคุณได้ทำงานคุ้มค่ากว่าเดิม

🔍 Discover AI tools

Superwhisper ลง Linux แล้ว แอปพิมพ์ตามคำบอกยอดนิยมบน Mac เปิดตัวเวอร์ชัน native สำหรับ Linux เพื่อการป้อนข้อมูลด้วยเสียงทั่วทั้งระบบ รองรับการแปลงเสียงเป็นข้อความแบบ local ผ่าน CPU/GPU หรือจะส่งไปยัง cloud เพื่อความรวดเร็วก็ได้ แต่โปรแกรมนี้ไม่ใช่ซอฟต์แวร์ open source

voiceio สำหรับผู้ที่ต้องการทางเลือกแบบ open source แอปพิมพ์ตามคำบอกแบบ offline ที่ใช้สัญญาอนุญาต MIT นี้สามารถส่งข้อความแบบ stream เข้าแอปต่างๆ ได้ทันทีทั้งบน Wayland และ X11 จุดเด่นคือการ fine-tune model ด้วยเสียงของคุณเองในช่วงที่เครื่องว่าง และจะสลับใช้โมเดลใหม่เมื่อมีประสิทธิภาพดีขึ้นเท่านั้น

OpenKruise Agents เครื่องมือรัน AI agent sandboxes บน Kubernetes cluster ที่เน้นความปลอดภัยสูงสุด โดย API keys จะไม่หลุดเข้าไปใน sandbox เพราะมี egress proxy คอยดึงข้อมูลจาก Kubernetes Secrets มาเติมใน request ให้โดยตรง พร้อมกฎการควบคุมเครือข่ายที่ป้องกันไม่ให้ agent ที่ถูกทำ prompt-injected เจาะเข้าสู่ระบบภายในได้

🐧 AI ใน kernel

Linux 7.4-rc1 เปิดตัวพร้อมสถิติช่วง merge window ที่ใหญ่ที่สุดเป็นประวัติการณ์ถึง 19,671 commits เพิ่มขึ้นอย่างมากจากเวอร์ชัน 7.3 ที่มีเพียง 16,267 commits

Linus Torvalds ระบุว่าตัวเลขที่พุ่งสูงขึ้นส่วนหนึ่งมาจากกระแสการแก้ไขบั๊กที่ถูกค้นพบโดย AI ซึ่งเขาค่อนข้างพอใจที่ได้รับชุดคำสั่งแก้ไขในช่วง merge window แทนที่จะเป็นช่วง RC stage อย่างไรก็ตาม ปัจจัยสำคัญอีกอย่างคือการเตรียมความพร้อมสำหรับ kernel เวอร์ชัน LTS ถัดไป รวมถึงการปรับปรุง AMD GPU register headers จำนวนมาก

👀 Big Tech Watch

เหตุผลที่ Altman ให้ความสนใจ RAM ในเครื่องผู้ใช้อาจชัดเจนขึ้น เมื่อ Nikkei Asia รายงานว่าเหล่าบริษัทเทคยักษ์ใหญ่อย่าง Alphabet, Microsoft, Amazon, Meta และ Oracle มีภาระผูกพันด้าน AI นอกงบดุลพุ่งสูงขึ้นถึง 90% ในรอบ 6 เดือน สู่ระดับ 3.2 ล้านล้านดอลลาร์

ตัวเลขมหาศาลนี้รวมถึงสัญญาเช่า data center และคำสั่งซื้อชิปเซิร์ฟเวอร์ที่ยังไม่ได้เริ่มใช้งาน หากตัวเลขเหล่านี้ถูกนำไปแสดงในงบดุลหลัก อาจส่งผลกระทบต่อราคาหุ้นอย่างรุนแรง ความต้องการ RAM เพื่อเติมเต็ม data center เหล่านี้จึงเป็นโจทย์ใหญ่ที่บริษัทยักษ์ใหญ่กำลังเผชิญ

🗂 AI Jargon: KV cache

ในการสร้างข้อความ AI จะเก็บข้อมูลการทำงานบางส่วนสำหรับทุกๆ token ในการสนทนาไว้เพื่อไม่ต้องคำนวณใหม่ พื้นที่ส่วนนี้เรียกว่า KV (key-value) cache

ขนาดของ KV cache จะขยายตัวตามความยาวของบริบท (context length) นี่คือเหตุผลว่าทำไมโมเดลที่ใช้งานแชทสั้นๆ ได้อย่างลื่นไหล อาจเกิดอาการหน่วยความจำเต็ม (OOM) ทันทีที่คุณใส่เอกสารที่มีความยาวมากเข้าไปในระบบ

😂 Meme

ติดตามมีมเพิ่มเติมได้ที่ หน้า Instagram ของเรา

ช่วงนี้คุณกำลังทดลองอะไรใหม่ๆ บน Local AI อยู่บ้าง?