Apa itu Robots.txt?

Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar di index oleh spider. Cara membuatnya sangatlah mudah, hanya dengan menggunakan softwere editor seperti NOTEPAD sudah bisa, akan tetapi jangan membuat file robots.txt dengan program pengolah kata seperti MS WORD.

Berikut adalah sintag dasar dari Robots.txt

User-Agent: [nama spider]
Disallow: [nama-file]

Sebagai contoh, sepider milik Alta Vista (av.com) adalah Scooter, Google adalah googlebot dan masih banyak lagi.

Sekarang kita ingin mencoba untuk menggunakan sintag robots, misal kita ingin spider tidak melakukan idex terhadap file tamu.php, maka sintagnya adalah:

User-Agent: Scooter
Disallow: tamu.php

File robots tersebut berfungsi agar spider dari scooter (milik AV) tidak melakukan idex terhadap file tamu.php, kalau ingin spider dari google tidak mengindex file tamu.php maka kita hanya menggubah User-Agent menjadi Googlebot.

Kemudia, bagaimana caranya agar semua spider milik situs pencarian tidak melakukan idex terhadap file tamu.php, karena kalau buat satu-satukan nulisnya lama, berikut ada cara yang termudah, yaitu dengan cara merubah User-Agent seperti berikut.

User-Agent: *
Disallow: tamu.php

Tanda * bertujuan agar semua spider dari situs pencarian tidak melakukan index terhadap file tamu.php