Pengelola situs web berpotensi memperoleh cara yang lebih ringkas untuk menyatakan apakah kontennya boleh digunakan dalam pelatihan kecerdasan buatan. Google pada 30 Oktober 2026 mengumumkan rencana mendukung sinyal preferensi bersama di berkas robots.txt, sementara sebuah Internet-Draft yang diajukan ke kelompok kerja AI Preferences di Internet Engineering Task Force (IETF) menjelaskan penggunaan policy token untuk menandai preferensi tersebut.
Topik ini menjadi semakin penting karena pemilik situs saat ini harus memahami beragam crawler dan kebijakan masing-masing penyedia AI. Mekanisme bersama bertujuan mengurangi kebutuhan menulis aturan terpisah untuk setiap perusahaan. Namun, statusnya masih tahap proposal dan dukungan tiap penyedia belum seragam. Pengelola situs tidak sebaiknya menganggap satu baris robots.txt sudah otomatis mengikat seluruh crawler.
Apa yang diusulkan untuk robots.txt?
Draft berjudul Machine-Readable Training Preference Signal menjelaskan cara menempatkan policy token pada baris User-Agent di dalam kelompok aturan robots.txt. Token tersebut digunakan untuk menyatakan preferensi penggunaan konten, misalnya menolak pelatihan AI untuk seluruh situs atau mengizinkannya pada jalur tertentu. Proposal ini berusaha memakai struktur robots.txt yang sudah dikenal, tanpa memperkenalkan nama direktif atau tata bahasa baru.
Contoh yang dibahas dalam draft menggunakan token khusus untuk tujuan pelatihan AI. Pemilik situs dapat menetapkan aturan Disallow untuk jalur umum dan pengecualian Allow untuk direktori tertentu. Dengan pola tersebut, preferensi dapat dibuat lebih granular berdasarkan bagian situs, bukan hanya satu keputusan untuk seluruh domain.
Google berencana mendukung sinyal bersama
Dalam penjelasan Google Search Central tertanggal 30 Oktober 2026, perusahaan menyatakan akan mendukung policy token bersama sebagai tambahan bagi kontrol yang sudah tersedia, termasuk Google-Extended. Jika pemilik situs menggunakan token bersama untuk menolak pelatihan dan tidak secara eksplisit mengizinkan Google-Extended, Google berencana memperlakukannya sebagai penolakan terhadap Google-Extended.
Google juga menjelaskan bahwa kontrol khusus perusahaan tetap dapat berjalan berdampingan dengan sinyal bersama. Artinya, pengelola situs masih dapat mengatur preferensi yang lebih spesifik untuk Google melalui Google-Extended sambil memakai token industri untuk menyampaikan pilihan umum kepada penyedia lain. Google menyebut target dukungan pada 2027, sehingga mekanisme ini tidak boleh dianggap sudah aktif penuh pada saat pengumuman dibuat.
Status IETF masih berupa Internet-Draft
Dokumen yang diajukan Kevin Kelley pada 30 Oktober 2026 tercatat sebagai Internet-Draft individual di Datatracker IETF. Halaman status IETF menegaskan bahwa Internet-Draft dapat diajukan oleh siapa saja dan belum memiliki kedudukan formal dalam proses standar IETF. Status ini penting: proposal tersebut merupakan bahan diskusi teknis, bukan RFC final atau kewajiban yang telah disepakati seluruh industri.
Draft juga menyatakan bahwa sinyal preferensi penggunaan berbeda dari aturan pengelolaan lalu lintas. Robots.txt secara tradisional memberi petunjuk kepada crawler mengenai jalur yang boleh atau tidak boleh diambil. Proposal ini menambahkan konteks preferensi penggunaan, tetapi tidak mengubahnya menjadi mekanisme autentikasi, kontrol akses, atau penegakan hukum otomatis.
Mengapa penerbit membutuhkan kontrol yang lebih sederhana?
Konten situs dapat digunakan dalam berbagai cara: untuk pengindeksan mesin pencari, pengambilan konteks saat menjawab pertanyaan, atau pelatihan model. Kepentingan pemilik konten tidak selalu sama untuk setiap tujuan. Sebuah penerbit mungkin ingin halaman tetap dapat ditemukan di Search, tetapi tidak ingin teksnya digunakan untuk melatih model generatif. Sinyal yang lebih terstruktur dapat membantu menjelaskan perbedaan tersebut.
Namun, pengaturan crawler tetap bergantung pada implementasi pihak yang membaca robots.txt. Crawler yang tidak mengenali token baru mungkin mengabaikannya atau hanya mengikuti aturan yang sudah dipahami. Karena itu, pemilik situs masih perlu memeriksa dokumentasi setiap penyedia AI dan mempertahankan aturan khusus yang relevan.
Hal yang perlu dilakukan pengelola situs sekarang
Untuk saat ini, langkah paling aman adalah tidak menyalin contoh draft secara membabi buta ke robots.txt produksi. Pengelola situs sebaiknya membaca dokumentasi resmi Google-Extended, memantau perkembangan draft IETF, dan menguji perubahan pada lingkungan staging. Pastikan aturan yang sudah ada untuk Googlebot, Bingbot, dan crawler lain tidak tertimpa atau berubah akibat penambahan kelompok baru.
Jika situs memakai sistem manajemen konten, simpan salinan robots.txt sebelum mengubahnya dan dokumentasikan alasan setiap aturan. Tim editorial, legal, dan teknis juga perlu menyepakati apakah tujuan yang ingin dibatasi adalah pelatihan model, pengambilan konteks, atau seluruh akses crawler. Istilah yang berbeda dapat membawa konsekuensi berbeda bagi visibilitas dan penggunaan konten.
Belum ada jaminan satu aturan berlaku untuk semua
Inisiatif policy token dapat menjadi langkah menuju bahasa preferensi yang lebih konsisten antara penerbit dan penyedia AI. Tetapi manfaatnya baru akan terasa jika banyak penyedia mengadopsi format yang sama, menjelaskan cara mematuhinya, dan menyediakan dokumentasi yang dapat diuji. Sampai proses standardisasi dan implementasi berkembang, robots.txt tetap perlu diperlakukan sebagai sinyal teknis yang harus dibaca bersama kebijakan masing-masing platform.
Sumber primer: Google Search Central — Supporting a shared AI training control for websites (30 Oktober 2026); IETF Datatracker — Machine-Readable Training Preference Signal (30 Oktober 2026).
Foto ilustrasi: Cong Long Vu/Unsplash.
