tag: GPU Profiling

เจาะลึกการทำ Profiling ใน PyTorch (ตอนที่ 3): วิเคราะห์ประสิทธิภาพ Attention แต่ละรูปแบบ

เจาะลึกการทำ Profiling ใน PyTorch (ตอนที่ 3): วิเคราะห์ประสิทธิภาพ Attention แต่ละรูปแบบ

· By: TanasakP
พาไปดูประสิทธิภาพของ Attention หลากหลายรูปแบบผ่าน Profiler ตั้งแต่เวอร์ชัน Naive ไปจนถึงเทคนิคขั้นสูงอย่าง Flash Attention และ cuDNN เพื่อเข้าใจการทำงานเชิงลึกของ GPU