Cloudflare Blokir Crawler AI \"Mixed-Use\" Secara Default Mulai Hari Ini

Mulai hari ini, 15 September 2026, jutaan situs yang berjalan di atas Cloudflare otomatis menutup pintu bagi crawler AI yang mencampur tiga fungsi sekaligus — indeksasi pencarian, pengambilan data untuk agen, dan scraping untuk melatih model — kecuali pemilik situs sengaja mengizinkannya. Perubahan default ini diumumkan Cloudflare lewat kampanye "Content Independence Day" (Cloudflare Blog) dan menandai eskalasi terbaru dalam perang dagang antara perusahaan AI dan penerbit konten atas siapa yang berhak mengambil data siapa tanpa membayar.

Apa yang berubah hari ini

Sejak 15 September 2026, kategori crawler "Training" dan "Agent" otomatis diblokir di halaman yang menampilkan iklan — berlaku untuk semua pelanggan baru Cloudflare, semua situs baru yang ditambahkan pelanggan lama, dan seluruh pengguna paket gratis yang belum mengubah pengaturannya sendiri. Kategori "Search" tetap diizinkan secara default, sehingga mesin pencari konvensional tidak terdampak. Pelanggan berbayar yang sudah punya konfigurasi kustom sebelumnya tetap mempertahankan pengaturan lama mereka (TechCrunch).

Istilah "mixed-use crawler" merujuk pada bot yang tidak memisahkan diri berdasarkan tujuan — satu user-agent yang sama dipakai baik untuk menjawab kueri pengguna secara langsung maupun untuk mengumpulkan data pelatihan model. Cloudflare sebelumnya memberi tenggat hingga 15 September bagi perusahaan AI untuk memisahkan crawler mereka menurut fungsi; yang tidak memisahkan diri kini berisiko diblokir secara default di semua situs yang menampilkan iklan (MLQ News).

Angka yang mendasari kebijakan ini

Cloudflare mendasarkan kebijakan ini pada data internal yang menunjukkan ketimpangan mencolok antara seberapa sering crawler AI mengambil konten dan seberapa banyak lalu lintas balik yang mereka kirim ke situs asal. Untuk setiap kunjungan yang dirujuk balik ke penerbit, Google diperkirakan melakukan sekitar 14 permintaan crawl, OpenAI sekitar 1.700 permintaan, dan Anthropic — angka paling ekstrem — sekitar 73.000 permintaan crawl per satu kunjungan rujukan (MLQ News).

Analisis independen dari TechnologyChecker.io atas file robots.txt di seluruh jaringan Cloudflare memperkuat gambaran itu: 89,4 persen dari total lalu lintas crawler AI ternyata melayani tujuan pelatihan model atau campuran (training/mixed), bukan murni menjawab kueri pencarian real-time. Analisis yang sama menemukan GPTBot milik OpenAI sebagai crawler AI yang paling sering diblokir lewat robots.txt oleh pemilik situs, jauh di atas bot AI lainnya (TechnologyChecker.io).

Dari Pay Per Crawl ke Pay Per Use

Bagi perusahaan AI yang ingin tetap punya akses, Cloudflare menawarkan jalan keluar komersial: Pay Per Crawl, marketplace yang memungkinkan penerbit menetapkan harga per permintaan crawl dan perusahaan AI membayar untuk tiap pengambilan data. Skema ini kini berkembang menjadi "Pay Per Use" — model yang membayar penerbit bukan sekadar saat kontennya diambil, melainkan saat kontennya benar-benar muncul dan dikutip di dalam jawaban yang dihasilkan AI (Cloudflare Blog).

Pergeseran dari "per pengambilan" ke "per kemunculan" ini penting karena selama ini penerbit sering membiarkan crawler masuk tanpa kompensasi apa pun, sementara traffic organik ke situs mereka justru menyusut seiring makin banyak pengguna puas dengan ringkasan AI dan tidak pernah mengklik sumber aslinya. Dengan Pay Per Use, insentif ekonominya dibalik: perusahaan AI baru membayar ketika model mereka benar-benar memanfaatkan konten tersebut untuk menjawab pengguna, bukan sekadar menyimpannya di gudang data pelatihan.

Apa artinya bagi pemilik situs dan developer

Untuk sebagian besar pemilik situs kecil dan menengah yang memakai paket gratis Cloudflare, perubahan ini otomatis aktif tanpa perlu tindakan apa pun — crawler pelatihan dan agen langsung tertutup di halaman berisi iklan, dan pemilik situs yang tetap ingin diakses AI tertentu (misalnya untuk terindeks di alat riset berbasis AI) harus secara eksplisit membuka akses lewat dashboard Cloudflare. Sebaliknya, developer yang membangun produk berbasis agen AI kini perlu memverifikasi bahwa crawler mereka terdaftar dengan kategori yang benar dan, jika ingin akses penuh ke halaman berbayar-iklan, bersiap masuk ke skema Pay Per Crawl alih-alih mengandalkan akses gratis seperti sebelumnya.

Dampak paling langsung akan terasa pada startup AI kecil yang selama ini bergantung pada scraping gratis skala besar untuk memperkaya data pelatihan atau basis pengetahuan agen mereka — model bisnis yang kini harus dihitung ulang begitu biaya crawl per halaman bukan lagi nol.

Takeaway

Cloudflare mengubah default dari "izinkan dulu, blokir belakangan" menjadi "blokir dulu, bayar untuk diizinkan" — sebuah pembalikan yang langsung berdampak pada jutaan situs tanpa mereka perlu mengubah apa pun. Data crawl-ke-rujukan yang timpang (73.000:1 untuk Anthropic) menjelaskan kenapa Cloudflare, sebagai infrastruktur di balik sebagian besar lalu lintas web dunia, memilih posisi berpihak ke penerbit kali ini. Yang masih harus dibuktikan adalah apakah Pay Per Use benar-benar menghasilkan pendapatan berarti bagi penerbit kecil, atau hanya menggeser ongkos scraping ke perusahaan AI besar yang mampu membayar sementara yang kecil tetap tersingkir dari indeks jawaban AI.

---

Sumber gambar: imgix di Unsplash Sumber gambar: Domaintechnik di Unsplash Sumber gambar: Markus Spiske di Unsplash Sumber gambar: Christopher Gower di Unsplash