Apa itu Robots.txt?

Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar di index oleh spider. Cara membuatnya sangatlah mudah, hanya dengan menggunakan softwere editor seperti NOTEPAD sudah bisa, akan tetapi jangan membuat file robots.txt dengan program pengolah kata seperti MS WORD. Continue reading “Apa itu Robots.txt?”