Cloudflare อัปเกรดระบบบล็อก AI Bot แบบละเอียด แยกประเภท Search, Training และ Agent ได้แล้ว

Cloudflare มอบเครื่องมือใหม่ให้ลูกค้าทุกคนเพื่อควบคุมการเข้าถึงเว็บไซต์ของ AI bots

นับตั้งแต่เดือนกรกฎาคม 2024 ลูกค้าของ Cloudflare สามารถเลือก บล็อก AI crawlers ทั้งหมดได้ด้วยการคลิกเพียงครั้งเดียว แต่ล่าสุด Cloudflare ได้เปลี่ยนระบบจากการบล็อกแบบเหมาเข่งมาเป็นการควบคุมที่ละเอียดขึ้น โดยเจ้าของเว็บไซต์สามารถเลือกจัดการบอทได้ 3 หมวดหมู่หลัก ได้แก่ Search (สำหรับการจัดทำดัชนีของ Search Engine), Training (สำหรับการรวบรวมข้อมูลไปฝึกฝนโมเดล AI) และ Agent (บอทที่ทำงานในนามของผู้ใช้ เช่น ChatGPT)

ตั้งแต่วันที่ 15 กันยายน 2026 เป็นต้นไป Cloudflare จะเริ่มบล็อกบอทประเภท Training และ Agent โดยค่าเริ่มต้นบนหน้าเว็บที่มีการสนับสนุนโดยโฆษณา เนื่องจากโฆษณาเป็นเครื่องบ่งชี้ว่าเว็บไซต์นั้นต้องการผู้เข้าชมที่เป็นมนุษย์ ในขณะที่ Search crawlers จะยังคงได้รับอนุญาตตามปกติ สำหรับ Crawler อเนกประสงค์อย่าง Googlebot ที่ทำหน้าที่ทั้งค้นหาและเก็บข้อมูลฝึกฝน จะถูกจัดการตามกฎที่เข้มงวดที่สุด ซึ่งตัวเลือกใหม่เหล่านี้เปิดให้ใช้งานครอบคลุมถึงผู้ใช้แผนบริการฟรีด้วย

Cloudflare กำลังผลักดันให้ผู้ให้บริการบอทแยก Crawler ตามวัตถุประสงค์การใช้งานอย่างชัดเจน โดย Matthew Prince ซีอีโอของ Cloudflare เคยออกมาตำหนิ Google เรื่องการรวม Search Crawler เข้ากับ AI Crawler ในเดือนมิถุนายน 2026 Prince ตั้งข้อสังเกตว่าปริมาณการรับส่งข้อมูล (Traffic) จากบอทได้แซงหน้ามนุษย์บนอินเทอร์เน็ตเป็นครั้งแรก ซึ่งเป็นหมุดหมายที่เดิมทีเขาไม่ได้คาดคิดว่าจะเกิดขึ้นจนกว่าจะถึงปลายปี 2027

ฐานข้อมูลบอทใหม่ช่วยให้ลูกค้าระดับองค์กรควบคุมได้ละเอียดขึ้น

สำหรับลูกค้ากลุ่ม Enterprise ทาง Cloudflare ได้เปิดตัว BotBase ซึ่งเป็นฐานข้อมูลบอทที่รู้จักทั้งหมดและสามารถค้นหาได้โดยตรงจากหน้าแดชบอร์ด ระบบจะแสดงให้เห็นว่าบอทแต่ละตัวถูกจัดประเภทอย่างไร และนำเนื้อหาไปใช้ในลักษณะใด ไม่ว่าจะเป็นเพียงการทำลิงก์เชื่อมโยงหรือการคัดลอกเนื้อหาไปทั้งหมด

นอกจากนี้ Cloudflare ยังมีการเปลี่ยนแปลงกฎสำหรับ verified bots จากเดิมที่บอทซึ่งได้รับการยืนยันจะได้รับอนุญาตให้ผ่านโดยอัตโนมัติ แต่หลังจากนี้หมวดหมู่ของบอทจะเป็นตัวกำหนดสิทธิ์การเข้าถึงแทน ลำพังเพียงป้ายกำกับ "Verified" จะไม่เพียงพออีกต่อไป โดยผู้ดำเนินการบอทต้องพิสูจน์ว่าตนเองระบุตัวตนอย่างตรงไปตรงมาและไม่ละเมิดสิทธิ์การเข้าถึงที่ได้รับมอบหมาย