Fly Language Model: เมื่อโครงข่ายประสาทแมลงหวี่ 1.6 แสนเซลล์ ถูกเชื่อมต่อกับ LLM แต่ผลทดสอบชี้อาจไม่ช่วยเพิ่มประสิทธิภาพ

Fly Language Model (FLM) เป็นโครงการแชทบอทที่ทดลองเชื่อมต่อโครงข่ายประสาท (Connectome) ของแมลงหวี่ตัวผู้ MaleCNS v1.0 ที่สมบูรณ์ เข้ากับโมเดลภาษาหลัก LiquidAI LFM2.5-1.2B-Instruct ที่ถูกฟิกซ์ค่าไว้

นักพัฒนา ผู้สร้างระบุว่านี่คือ Fly Language Model ตัวแรกของโลกบนสถาปัตยกรรม GPF (Generative Pre-trained Fly) อย่างไรก็ตาม ในรายงานวิจัยได้ปฏิเสธการอ้างสิทธิ์ว่าเป็นโมเดลตัวแรกของโลก พร้อมรายงานผลที่น่าสนใจว่า กลุ่มควบคุมที่ไม่มีการใช้กราฟโครงข่ายของแมลงหวี่กลับให้ผลลัพธ์ที่ดีกว่าเล็กน้อย

การใช้งาน: สำหรับผู้ที่สนใจทดสอบ โค้ดถูกปล่อยเป็นโอเพนซอร์สบน GitHub ในชื่อ nftechie/flm ภายใต้ลิขสิทธิ์ MIT โดยสามารถรันในเครื่องส่วนตัวได้ด้วย Python 3.12 รองรับทั้ง macOS, Linux, CUDA หรือแม้แต่ CPU โดยไม่จำเป็นต้องใช้ API key

รายละเอียดการสร้างระบบ

ระบบนี้ใช้หลักการ Reservoir Computing โดยนำโหนดประสาททั้งหมด 166,700 โหนด และเส้นเชื่อมแบบกำหนดทิศทางกว่า 25.5 ล้านเส้นของ MaleCNS มาใช้งาน โดยตัวกราฟและโมเดลภาษาหลัก (Backbone) จะถูกฟิกซ์ค่าไว้ทั้งหมด มีเพียงส่วนการอ่านข้อมูล (Readout) จำนวน 278,528 พารามิเตอร์เท่านั้นที่ได้รับการฝึกฝน ซึ่งคิดเป็นเพียง 0.0238% ของพารามิเตอร์ทั้งหมดในระบบ

ในกระบวนการประมวลผล แต่ละโทเค็นจะถูกบีบอัดผ่านการโปรเจกต์แบบ Gaussian จาก 2,048 มิติ เหลือ 128 แชนเนล เพื่อป้อนเข้าสู่โหนดใน Reservoir จากนั้นกราฟจะอัปเดตสถานะด้วยสูตร x = tanh(W(0.6x + 0.4Bc)) โดยค่าความสัมพันธ์จะถูกส่งผ่านเมทริกซ์ที่ผ่านการฝึกและเพิ่มเข้าไปใน Logits ของโครงสร้างหลักในลักษณะ Bounded Residual

ผลลัพธ์การทดสอบ

จากการทดสอบกับชุดข้อมูล SmolTalk จำนวน 32 ชุด ผลลัพธ์ที่ได้จากการรันด้วยเมล็ดพันธุ์ (Seed) ที่เหมาะสมแสดงให้เห็นดังนี้:

แม้การใช้โครงข่ายประสาทแมลงหวี่จะช่วยให้ประสิทธิภาพดีขึ้นกว่าโครงสร้างหลัก 0.0222 nats ต่อโทเค็น แต่กลุ่มควบคุมที่รับอินพุตโดยตรง (Direct-input control) โดยไม่มีกราฟแมลงหวี่กลับทำผลงานได้ดีกว่าในทุกการทดสอบ ข้อมูลนี้ชี้ให้เห็นว่ายังไม่มีหลักฐานเพียงพอที่จะสรุปว่าโครงสร้างประสาทของแมลงหวี่ช่วยเพิ่มประสิทธิภาพได้เป็นพิเศษ

นอกจากนี้ รายงานวิจัย ยังระบุว่าสถานะการทำงานแบบวนซ้ำ (Recurrence) จะลดทอนข้อมูลเริ่มต้นลงอย่างรวดเร็ว โดยหลังจากผ่านไป 20 โทเค็น ข้อมูลจะเหลือความแตกต่างเพียง 0.0000366 ซึ่งหมายความว่าการใช้เซลล์จำนวนมากไม่ได้ช่วยในเรื่องหน่วยความจำระยะยาว และบริบทหลักของข้อมูลยังคงมาจากโมเดลภาษาเดิม

บริบทและงานวิจัยที่เกี่ยวข้อง

รายงานฉบับนี้มีการอ้างถึง ngxson/fly-hf ซึ่งเป็นงานวิจัยก่อนหน้าที่ใช้เซลล์สมองส่วนกลางของแมลงหวี่ 49,393 เซลล์ฝึกบน TinyStories โดยจุดเด่นที่แตกต่างของ FLM คือการใช้กราฟประสาทเต็มรูปแบบและใช้โครงสร้างหลักที่ผ่านการฝึกฝนมาแล้ว เพื่อให้สามารถวิเคราะห์แหล่งที่มาของความสามารถทางภาษาได้อย่างชัดเจน

ประเด็นสำคัญที่ต้องจับตา

• โครงข่ายประสาทแมลงหวี่ 166,700 โหนด ถูกนำมาใช้ขับเคลื่อน LLM ขนาด 1.2B โดยฝึกพารามิเตอร์เพิ่มเพียงเล็กน้อย
• แม้ผลการทดสอบเบื้องต้นจะดูดีขึ้น แต่กลุ่มควบคุมที่ไม่มีกราฟกลับทำผลงานได้เหนือกว่าในทุกด้าน
• ระบบพิสูจน์ได้ว่ากราฟประสาทมีส่วนร่วมจริง แต่ไม่ได้ช่วยให้โมเดลเก่งขึ้นกว่าการประมวลผลแบบทั่วไป
• โครงข่ายประสาทไม่ได้เพิ่มความสามารถด้านหน่วยความจำระยะยาวอย่างที่คาดหวัง
• ปัจจุบันโค้ดเป็น Open Source แต่ข้อมูลที่ใช้ในงานวิจัยยังเป็นส่วนตัว ทำให้บุคคลภายนอกยังไม่สามารถตรวจสอบผลลัพธ์ซ้ำได้อย่างอิสระในขณะนี้