Kesalahan Pada File Robots.txt, Gak di Index Google

Surabaya – Ketika aku di Jogja kemarin aku coba mengecek salah satu situsku kapan terakhir di-index oleh Google, betapa terkejutnya sejak terakhir kali di-index tanggal 18 Maret 2008. Selidik punya selidik ternyata ada kesalahan pada file Robots.txt-nya yang aku taruh di folder root.

Kesalahan pada Robots.txt setelah aku cek melalui Google Tools dan setelah aku cermati ternyata ada kesalahan pada file Robots.txt-nya, kesalahan itu terjadi pada karena aku membuat file Robots.txt seperti dibawah ini.

User-agent: *
Disallow:/

Akibat aku mengetikan perintah Disallow:/ maka seluruh isi web tidak di-index oleh Google harusnya dalam file Robots.txt cukup aku tulis User-agent:* aja (satu baris aja).

Barusan sudah aku perbaiki dengan menghilangkan baris Disallow:/ tinggal lihat perkembangannya, kerjadian seperti ini sudah terulang dua kali dan aku baru sadar ketika aku cek kapan terakhir kali Google melakukan index dengan perintah site:.

Semoga besok ada perkembangan yang menggembirakan deh.