ความแตกต่างระหว่างคนรัน AI ใช้เองกับนักพัฒนาสายเปย์

เรื่องย่อ

เป็นโพสต์แนวขำขันจาก u/perelmanych ในห้อง r/LocalLLaMA ที่มียอด upvote กว่า 1,100 ครั้ง โดยเจ้าของกระทู้เล่าว่าตัวเองรู้สึกเหมือนเป็นราชาผู้ยิ่งใหญ่ที่รันเครื่องยนต์ Strata สองตัวได้ความเร็ว 70tps ตลอดทั้งวัน และใช้ไปถึง 12 ล้านโทเค็นต่อวัน แต่ความภูมิใจนั้นก็หายไปทันทีเมื่อไปเจอโพสต์ใน Twitter ของอินฟลูเอนเซอร์สายเดฟชื่อ Poteto ที่ระบุว่าเธอใช้โทเค็นไปมหาศาลถึง 34 ล้านโทเค็นต่อนาที

คนในกระทู้ว่าอย่างไร

• คอมเมนต์ส่วนใหญ่สงสัยว่า Poteto คือใคร และการส่ง 2,500 Pull Requests (PRs) ต่อเดือนด้วย AI นั้นได้งานที่มีคุณภาพจริงหรือไม่ หรือเป็นเพียงการปั่นตัวเลขเพื่อสร้างชื่อเสียงในโซเชียลมีเดีย
• คนในวงการ AI ตัวจริงตั้งข้อสังเกตว่าตัวเลขโทเค็นที่ดูเวอร์เกินจริงนั้น 90-95% น่าจะเป็นผลมาจาก Cache hits มากกว่าจะเป็นโทเค็นที่ถูกประมวลผลใหม่ทั้งหมดหรือเป็น Output จริงๆ เพราะปริมาณขนาดนั้นเทียบเท่ากับการเขียนโค้ดมหาศาลซึ่งดูไม่สมเหตุสมผล
• มีคนเปรียบเทียบว่าการใช้โทเค็นระดับ 1.5 ล้านล้านโทเค็นนั้น เท่ากับจำนวนบรรทัดของโค้ดใน Linux Kernel ถึง 8,500 ตัว ซึ่งถ้าไม่ได้ผลลัพธ์ที่จับต้องได้จริง ก็ถือว่าเป็นการเผาทรัพยากรทิ้งอย่างน่าตกใจ
• ผู้ใช้บางส่วนบ่นเรื่องข้อจำกัดของแพลตฟอร์มเสียเงิน (เช่น แพลนราคา 200 ดอลลาร์) ที่บางครั้งโควตาหมดลงอย่างรวดเร็วภายในไม่กี่นาทีเพราะบั๊กของส่วนขยายหรือการตั้งค่าบางอย่าง
• หลายคนมองว่าโพสต์ต้นทางใน Twitter อาจจะจงใจไม่พูดถึงเรื่อง Cache เพื่อให้ตัวเลขดูสูงเกินจริงสำหรับใช้ในการทำการตลาดหรือเรียกยอดไลก์จากคนที่ไม่เข้าใจระบบเทคนิคของ LLM

อัปเดต

เจ้าของกระทู้มาให้ข้อมูลเพิ่มเติมว่า Poteto คือชื่อเล่นใน Twitter ของนักพัฒนาที่เคยทำงานที่ Cursor ก่อนจะถูก xAI ซื้อตัวไป และปัจจุบันเธอกำลังเร่งพัฒนา GrokBot และ Cursor โดยส่ง PRs จำนวนมหาศาลในแต่ละเดือน