Di salah satu posting saya sebelumnya, saya telah membahas Pengaturan Tag Header Robot Kustom untuk blogger.

Jika Anda telah membaca posting itu maka saya harap kalian sadar akan pentingnya peringkat pencarian.

Hari ini, saya kembali dengan istilah blog yang sangat berguna dan harus sadar yaitu Robots.txt.

Di blogger dikenal sebagai Custom Robots.txt yang berarti sekarang Anda dapat menyesuaikan file ini sesuai pilihan Anda.

Dalam tutorial hari ini, kita akan membahas istilah ini secara mendalam dan mengetahui tentang penggunaan dan manfaatnya. Saya juga akan memberi tahu Anda cara menambahkan file robots.txt khusus di blogger.

Jadi mari kita mulai panduan ini.

Apa itu Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana.

Ini disimpan di situs web atau server blog yang menginstruksikan perayap web tentang cara mengindeks dan merayapi blog Anda dalam hasil pencarian.

Itu berarti Anda dapat membatasi halaman web di blog Anda dari crawler web sehingga tidak bisa diindeks di mesin pencari seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk diindeks.

Selalu ingat bahwa perayap pencarian memindai file robots.txt sebelum merayapi laman web mana pun.

Setiap blog yang dihosting di blogger memiliki file robots.txt default yang terlihat seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasan
Kode ini dibagi menjadi tiga bagian. Pertama mari kita pelajari masing-masing setelah itu kita akan belajar cara menambahkan file robots.txt kustom di blog blogspot.

Agen-pengguna: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menampilkan iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak membiarkannya begitu saja.

Agen pengguna: *
Ini untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan standar, tautan label blog kami dibatasi untuk diindeks oleh crawler pencarian yang berarti crawler web tidak akan mengindeks tautan halaman label kami karena kode di bawah ini.

Disallow: / search
Itu berarti tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.
  • http://www.example.blogspot.com/search/label/SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya.

Boleh Di Sini: / merujuk ke Beranda yang berarti perayap web dapat merayapi dan mengindeks beranda blog kami.

Larang Pos Tertentu
Sekarang anggaplah jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan baris di bawah ini dalam kode.
  • Disallow: /yyyy/mm/post-url.html
Di sini yyyy dan mm mengacu pada tahun penerbitan dan bulan posting masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah postingan di tahun 2013 di bulan Maret maka kita harus menggunakan format di bawah ini.
  • Disallow: /2013/03/post-url.html
Untuk mempermudah tugas ini, Anda cukup menyalin URL posting dan menghapus nama blog dari awal.

Larang Halaman Khusus
Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan hapus alamat blog darinya yang akan terlihat seperti ini:
  • Disallow: /p/page-url.html
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini kami hanya mengoptimalkan tingkat perayapan blog kami.

Berarti kapan pun perayap web memindai file robots.txt kami, mereka akan menemukan jalur ke sitemap kami tempat semua tautan pos yang kami terbitkan hadir.

Perayap web akan mudah merayapi semua pos kami.

Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting blog kami tanpa mengabaikan satu pun.

Catatan: Peta situs ini hanya akan memberi tahu perayap web tentang 25 pos terbaru. Jika Anda ingin menambah jumlah tautan di sitemap Anda, maka ganti sitemap default dengan yang di bawah ini. Ini akan berfungsi untuk 500 posting terakhir pertama.
  • Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Anda memiliki lebih dari 500 posting yang diterbitkan di blog Anda, maka Anda dapat menggunakan dua peta situs seperti di bawah ini:
  • Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
  • Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Menambahkan Custom Robots.Txt ke Blogger
Sekarang bagian utama dari tutorial ini adalah bagaimana cara menambahkan custom robots.txt di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.

Pergi ke blog blogger Anda.
  1. Navigasikan ke Pengaturan >> Preferensi Pencarian ›› Perayap dan pengindeksan ›› Custom robots.txt ›› Edit ›› Ya
  2. Sekarang tempel kode file robots.txt Anda di dalam kotak.
  3. Klik tombol Simpan Perubahan.selesai
 

Bagaimana cara Memeriksa File Robots.txt Anda?
Anda dapat memeriksa file ini di blog Anda dengan menambahkan /robots.txt di akhir URL blog Anda di browser web. Sebagai contoh:
  • http://www.yourblogurl.blogspot.com/robots.txt
Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda.

Kata-kata terakhir!
Ini adalah tutorial lengkap hari ini tentang cara menambahkan file robots.txt kustom di blogger.

Saya mencoba yang terbaik untuk membuat tutorial ini sesederhana dan informatif mungkin. Tetapi tetap jika Anda memiliki keraguan atau pertanyaan maka jangan ragu untuk bertanya kepada saya di bagian komentar di bawah ini.

Pastikan untuk tidak memasukkan kode apa pun di pengaturan robots.txt khusus Anda tanpa mengetahuinya. Cukup minta saya untuk menyelesaikan pertanyaan Anda. Saya akan menceritakan semuanya secara terperinci.

Terima kasih teman-teman untuk membaca tutorial ini. Jika Anda menyukainya maka tolong dukung saya untuk menyebarkan kata-kata saya dengan membagikan posting ini di profil media sosial Anda. Selamat Blogging!