tag: cuDNN

เจาะลึก cuDNN Graph API: ปรับแต่ง Fusion และ Autotuning ขั้นสูง

เจาะลึก cuDNN Graph API: ปรับแต่ง Fusion และ Autotuning ขั้นสูง

· By: NatapolK
คู่มือการใช้ cuDNN Frontend Graph API เพื่อสร้าง Kernel Fusion แบบกำหนดเอง พร้อมเทคนิค Autotuning และการทำ Serialization เพื่อเพิ่มประสิทธิภาพ Deep Learning สูงสุดบน GPU NVIDIA
เจาะลึกการทำ Profiling ใน PyTorch (ตอนที่ 3): วิเคราะห์ประสิทธิภาพ Attention แต่ละรูปแบบ

เจาะลึกการทำ Profiling ใน PyTorch (ตอนที่ 3): วิเคราะห์ประสิทธิภาพ Attention แต่ละรูปแบบ

· By: TanasakP
พาไปดูประสิทธิภาพของ Attention หลากหลายรูปแบบผ่าน Profiler ตั้งแต่เวอร์ชัน Naive ไปจนถึงเทคนิคขั้นสูงอย่าง Flash Attention และ cuDNN เพื่อเข้าใจการทำงานเชิงลึกของ GPU