Local AI Weekly #7: ฟองสบู่ AI จีนแตก แต่ชิป RAM ยังขาขาดแคลน

สำนักข่าว Reuters รายงานว่า ฟองสบู่ AI ได้แตกสลายแล้วในจีน ส่งผลให้หุ้นกลุ่ม AI และชิปของจีนสูญเสียมูลค่ารวมไปกว่า 4.8 แสนล้านดอลลาร์ ในขณะที่ฝั่งตะวันตกอย่าง Amazon ได้ปรับทิศทางโดยให้โมเดล Nova ส่วนใหญ่อยู่ในสถานะ "ประคองตัว" (keep the lights on) เพื่อรักษาสภาพการณ์ไว้

อย่างไรก็ตาม ฝั่งผู้ผลิตชิปอย่าง SK Hynix กลับรายงานกำไรสูงสุดเป็นประวัติการณ์ถึง 29.7 พันล้านดอลลาร์ในไตรมาสที่ 3 โดย CEO ระบุว่าการขาดแคลนหน่วยความจำจะลากยาวไปจนถึงปี 2030 สถานการณ์ฟองสบู่อาจจะดูแย่สำหรับบางกลุ่ม แต่ไม่ใช่สำหรับผู้ขาย RAM และดูเหมือนว่าชาว homelab คงต้องรอต่อไปอีกพักใหญ่กว่าที่ราคาอุปกรณ์จะปรับตัวลดลง

Local AI Weekly ฉบับนี้ได้รับการสนับสนุนโดย PikaPods บริการ self-host ซอฟต์แวร์ open source ที่ทำได้ง่ายในเวลาไม่ถึงนาที พิเศษสำหรับผู้ใช้ใหม่รับเครดิตฟรี $5 เพื่อทดลองใช้งาน

🔎 ค้นพบเครื่องมือ AI

LokalBot เครื่องมือบันทึกและถอดความการประชุมบนคอมพิวเตอร์โดยไม่ต้องมีบอทเข้าร่วมสาย มาพร้อมฟีเจอร์พิมพ์ตามคำบอกและการค้นหา โดยทำงานผ่านโมเดล local ด้วย llama.cpp บน Vulkan หรือ CPU

OpenNoteTaker ทำหน้าที่คล้ายกันแต่รันบนเบราว์เซอร์ ใช้ Whisper ในรูปแบบ WebAssembly ทำให้เสียงไม่ถูกอัปโหลดขึ้นคลาวด์ บริการบันทึกและถอดความฟรีไม่ต้องมีบัญชี ส่วนการสรุปด้วย AI และการแปลภาษาเป็นบริการเสริมที่ต้องชำระเงิน ปัจจุบันรองรับเฉพาะ Chrome และ Edge

Subtitld 26.10 การอัปเดตครั้งใหญ่ของเครื่องมือแก้ไขคำบรรยายลิขสิทธิ์ GPL-3.0 ช่วยให้จัดการวิดีโอดิบจนเป็นคำบรรยายที่แปลและพากย์เสียงได้ครบจบในที่เดียว รองรับ whisper.cpp, Vosk, Piper และ Kokoro ซึ่งรันแบบ offline ได้เกือบทั้งหมด

🤖 เหล่าเอเจนต์ยังคงเปิดตัวต่อเนื่อง

Gregory Kurtzer ผู้สร้าง CentOS และ Rocky Linux เปิดตัว Ginux เคอร์เนลใหม่ที่เขียนด้วยภาษา Rust เกือบทั้งหมดภายในเวลาเพียง 11 วัน โดยยืนยันว่านี่ไม่ใช่ Linux และตัวอักษร "G" นั้นย่อมาจาก GPT ไม่ใช่ GNU

โครงการนี้ใช้เอเจนต์ Codex ช่วยเขียนโค้ดไปกว่า 139,000 บรรทัด ภายใต้การวางโครงสร้างสถาปัตยกรรมและตรวจสอบโดย Kurtzer ซึ่งปัจจุบันถือว่าเป็นโมเดลต้นแบบเพื่อการวิจัยเท่านั้น

Thomas Dohmke อดีต CEO ของ GitHub เปิดตัว Entire แพลตฟอร์ม Git forge ที่ออกแบบมาให้มนุษย์และเอเจนต์ทำงานร่วมกัน โดยเปลี่ยน pull request เป็น "Trails" ที่มีคะแนนประเมินอัปเดตทุกครั้งที่มีการ push โครงการนี้เน้น local-first แต่ตัว forge โฮสต์อยู่บนระบบกลาง จึงไม่สามารถ self-host ได้

🗞️ ข่าวสารโมเดลแบบเปิด

Block ของ Jack Dorsey เปิดตัว Dessa โมเดลเสียงที่สามารถรับฟังและโต้ตอบได้พร้อมกัน เทรนด้วยเสียงมนุษย์โดยเฉพาะ ต่างจากโมเดลทั่วไปที่ใช้ข้อความเป็นหลัก สามารถรันบน MacBook Pro M4 Max ได้ แต่ยังไม่มีการเปิดเผยเรื่อง weights หรือใบอนุญาต

ทางด้าน Mistral เตรียมเปิดตัวโมเดล Large 4 ในวันที่ 31 ตุลาคมนี้ เพื่อต้อนรับเทศกาลฮัลโลวีน

👀 ติดตามความเคลื่อนไหว Big Tech

ดัชนี STAR 50 ของจีน ซึ่งเน้นหุ้นกลุ่ม AI และชิป ร่วงลงถึง 40% ในเวลาไม่ถึง 4 เดือน ตามรายงานของ Reuters โดยบริษัทผลิต GPU อย่าง MetaX และ Moore Threads มูลค่าหายไปเกือบครึ่งจากความกังวลเรื่องการประเมินมูลค่าสูงเกินจริงและมาตรการคว่ำบาตรจากต่างประเทศ

Amazon ตัดสินใจปรับลดงบประมาณโมเดล Nova ส่วนใหญ่ลง ตามรายงานจาก Futurism เพื่อทุ่มทรัพยากรไปที่การพัฒนาโมเดลระดับแนวหน้า (frontier model) เพียงตัวเดียวเท่านั้น

SK Hynix รายงานผลประกอบการสุดแกร่ง ด้วยกำไรจากการดำเนินงาน 83.3 ล้านล้านวอน จากรายได้ 104.6 ล้านล้านวอน คิดเป็นอัตรากำไรถึง 80% พร้อมระบุว่ายอดจองล่วงหน้ายาวไปถึงปี 2028 ทำให้ RAM สำหรับผู้บริโภคทั่วไปอาจยังมีราคาสูงต่อไป 😭

🗂 ศัพท์เฉพาะ AI: Open weights

Open weights หมายถึงไฟล์โมเดลที่ผ่านการเทรนเสร็จสมบูรณ์และเปิดให้สาธารณะดาวน์โหลดมาใช้งานบนฮาร์ดแวร์ตัวเองได้ แต่ไม่ได้หมายความว่าเป็น open source เสมอไป เนื่องจากข้อมูลเทรนและโค้ดเบื้องหลังมักถูกปิดเป็นความลับ แต่ข้อดีคือเมื่อคุณโหลดมาแล้ว บริษัทเจ้าของโมเดลจะไม่สามารถสั่งลบหรือระงับการใช้งานจากเครื่องของคุณได้

😆 มีม

⚡ เคล็ดลับด่วน: สำรองข้อมูลโมเดลที่คุณต้องใช้งาน

สำหรับใครที่ ใช้ Ollama สำหรับ local AI สามารถเช็กรายชื่อโมเดลได้ผ่านคำสั่ง:

ollama list

จากนั้นแนะนำให้คัดลอกโฟลเดอร์โมเดลไว้ในไดรฟ์สำรอง โดยปกติจะอยู่ที่ ~/.ollama/models สำหรับผู้ใช้ทั่วไป หรือ /usr/share/ollama/.ollama/models หากรันเป็น system service เพื่อป้องกันข้อมูลสูญหาย

ติดตามข่าวสาร AI แบบ local ได้ใหม่สัปดาห์หน้า