Kesalahan Pada File Robots.txt, Gak di Index Google

Surabaya – Ketika aku di Jogja kemarin aku coba mengecek salah satu situsku kapan terakhir di-index oleh Google, betapa terkejutnya sejak terakhir kali di-index tanggal 18 Maret 2008. Selidik punya selidik ternyata ada kesalahan pada file Robots.txt-nya yang aku taruh di folder root. Continue reading “Kesalahan Pada File Robots.txt, Gak di Index Google”

Apa itu Robots.txt?

Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar di index oleh spider. Cara membuatnya sangatlah mudah, hanya dengan menggunakan softwere editor seperti NOTEPAD sudah bisa, akan tetapi jangan membuat file robots.txt dengan program pengolah kata seperti MS WORD. Continue reading “Apa itu Robots.txt?”