Susun robots.txt blok demi blok: aturan Allow dan Disallow per crawler, crawl delay, sitemap, dan komentar, dengan pratinjau langsung.
File disusun secara lokal di browser Anda. Tidak ada yang dikirim ke server.
Satu baris Sitemap: per sitemap XML — URL absolut penuh pilihan paling aman.
Punya file lama? Tempelkan isinya manual ke blok-blok di atas — pratinjau menggantikan file lama begitu selesai.
Alat ini menelusuri blok-blok aturan Anda dari atas ke bawah dan menulis satu grup User-agent: per blok: baris agen lebih dulu, lalu setiap baris Allow:, Disallow:, dan Crawl-delay: opsional, disusul entri Sitemap: serta baris komentar yang Anda tambah. Pratinjau berubah saat Anda mengetik, dan salin atau unduh memberi Anda file jadi yang siap diletakkan di root situs sebagai /robots.txt.
Belum tentu. Disallow menghentikan Google mengambil halaman, tetapi jika situs lain menauti URL itu Google tetap dapat mencantumkannya di hasil cari — biasanya dengan judul, keterangan "URL diblokir oleh robots.txt", dan tanpa deskripsi. Untuk benar-benar menghapus halaman, halaman harus bisa dijangkau dan memasang meta noindex (atau respons 410/401 terautentikasi); robots.txt baru dipasang setelahnya.
Umumnya justru sebaliknya. Google menyatakan bahwa pemblokiran lewat robots.txt adalah cara desindexing paling lemah: halaman yang diblokir dari perayapan bisa tetap masuk indeks, dan Google tidak bisa melihat tag noindex pada halaman yang dilarang diambil. Urutan yang andal: izinkan perayapan, sajikan noindex (meta atau header HTTP), lalu tambahkan Disallow setelah halaman keluar dari indeks.
Tidak — Search Console dan feed bisa menemukan sitemap dengan cara lain — tetapi ini deskripsi diri termurah yang bisa diberikan sebuah situs: satu baris gratis yang memberi tahu setiap crawler patuh di mana sitemap XML Anda berada. Sertakan minimal URL kanonik sitemap utama Anda.
Tidak, dan mengandalkan itu kesalahan klasik. robots.txt berada di URL publik, sehingga memublikasikan Disallow sama dengan menyebarkan daftar path tersembunyi Anda — Google dan Bing mengindeks file itu sendiri, dan scraper membaca setiap hari. Sesuatu yang rahasia layak berada di balik autentikasi, bukan di balik arahan yang diikuti crawler yang berbaik hati.
Tidak. File disusun dari isian formulir Anda dengan JavaScript murni di browser, dan aksi salin maupun unduh bekerja sepenuhnya di sisi klien — Anda bisa membuatnya bahkan tanpa internet. Tidak ada yang keluar dari perangkat Anda kecuali Anda sendiri mengunggah hasilnya ke situs Anda.
Jika Anda baru saja memakai Pembuat robots.txt, langkah berikutnya yang wajar adalah Pembuat sitemap.xml, Pembuat Meta Tag, Pembuat Link UTM, atau telusuri semua alat Alat harian.