Munculnya masalah ini yaitu karena ada sebagian postingan yang terdapat di blog Anda sudah diindeks oleh google namun diblokir oleh robot.txt, dengan kata lain ada perintah untuk mencegah agar google tidak merayapi link URL yang dicekal ini. Hal ini bisanya terjadi pada URL dengan Label, bukan pada URL postingan biasa seperti contoh di bawah ini
URL Label ini pada dasarnya memang sengaja diblokir oleh setelan blog Anda, jika Anda pengguna platform blogger maka hal ini wajar terjadi. Sebenarnya hal ini tidak perlu Anda khawatirkan karena ini tidak akan berbahaya bagi blog Anda.
Apa penyebab masalah diindeks, meski diblokir oleh robot.txt ini?
Nah, secara umum penyebab hal ini terjadi adalah setelan pada blog Anda yang memang sengaja memblokir URL seperti ini, hal ini bisa Anda lihat pada menu setelan blog pada bagian preferensi penelusuran. Jika anda mengaktifkan custom robot.txt maka pasti terdapat perintah disallow untuk /search. Namun jika Anda tidak mengaktifkan fitur ini maka masalah terdapat pada kode HTML pada template blog Anda. Coba cari di HTML blog Anda kode di bawah ini
Nah pada kode HTML di atas artinya setiap URL hasil pencarian pada blog Anda tidak akan diindeks, ataupun URL dari label. Nah sebaiknya Anda biarkan saja demikian karena menurut saya pribadi URL tersebut memang tidak penting juga untuk diindeks.
Namun jika Anda tetap ingin mengatasi hal ini maka silakan hapus semua kode nonindex yang terdapat pada template blog Anda. Caranya masuk dulu ke edit HTML template blog Anda lalu silakan cari kode dibawah ini pada template blog Anda
Apa penyebab masalah diindeks, meski diblokir oleh robot.txt ini?
Nah, secara umum penyebab hal ini terjadi adalah setelan pada blog Anda yang memang sengaja memblokir URL seperti ini, hal ini bisa Anda lihat pada menu setelan blog pada bagian preferensi penelusuran. Jika anda mengaktifkan custom robot.txt maka pasti terdapat perintah disallow untuk /search. Namun jika Anda tidak mengaktifkan fitur ini maka masalah terdapat pada kode HTML pada template blog Anda. Coba cari di HTML blog Anda kode di bawah ini
<b:if cond='data:blog.pageType in {"archive"} or
data:blog.searchLabel or
data:blog.searchQuery'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
Namun jika Anda tetap ingin mengatasi hal ini maka silakan hapus semua kode nonindex yang terdapat pada template blog Anda. Caranya masuk dulu ke edit HTML template blog Anda lalu silakan cari kode dibawah ini pada template blog Anda
<meta content='noindex,nofollow' name='robots'/>
Nah, silakan hapus semua kode tersebut yang berada diantara kode <head> sampai ke </head>. Setelah Anda menghapus semua kode itu silakan validasikan perbaikan yang Anda lakukan di webmaster tool dan tunggu beberapa hari ke depan dan masalah tersebut akan hilang dengan sendirinya.