tag: FlashAttention

5 โปรเจกต์วิศวกรรม LLM Inference เพื่อความเข้าใจระบบเบื้องหลัง

5 โปรเจกต์วิศวกรรม LLM Inference เพื่อความเข้าใจระบบเบื้องหลัง

· By: SirilukP
เจาะลึกกลไกที่ทำให้ LLM ทำงานได้รวดเร็วผ่าน 5 โปรเจกต์ลงมือทำจริง ตั้งแต่การสร้างระบบจัดการหน่วยความจำไปจนถึงการเขียน GPU Kernel
เจาะลึกการทำ Profiling ใน PyTorch (ตอนที่ 3): วิเคราะห์ประสิทธิภาพ Attention แต่ละรูปแบบ

เจาะลึกการทำ Profiling ใน PyTorch (ตอนที่ 3): วิเคราะห์ประสิทธิภาพ Attention แต่ละรูปแบบ

· By: TanasakP
พาไปดูประสิทธิภาพของ Attention หลากหลายรูปแบบผ่าน Profiler ตั้งแต่เวอร์ชัน Naive ไปจนถึงเทคนิคขั้นสูงอย่าง Flash Attention และ cuDNN เพื่อเข้าใจการทำงานเชิงลึกของ GPU