Apa itu Robots.txt?

Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar di index oleh spider. Cara membuatnya sangatlah mudah, hanya dengan menggunakan softwere editor seperti NOTEPAD sudah bisa, akan tetapi jangan membuat file robots.txt dengan program pengolah kata seperti MS WORD.

Berikut adalah sintag dasar dari Robots.txt

User-Agent: [nama spider]
Disallow: [nama-file]

Sebagai contoh, sepider milik Alta Vista (av.com) adalah Scooter, Google adalah googlebot dan masih banyak lagi.

Sekarang kita ingin mencoba untuk menggunakan sintag robots, misal kita ingin spider tidak melakukan idex terhadap file tamu.php, maka sintagnya adalah:

User-Agent: Scooter
Disallow: tamu.php

File robots tersebut berfungsi agar spider dari scooter (milik AV) tidak melakukan idex terhadap file tamu.php, kalau ingin spider dari google tidak mengindex file tamu.php maka kita hanya menggubah User-Agent menjadi Googlebot.

Kemudia, bagaimana caranya agar semua spider milik situs pencarian tidak melakukan idex terhadap file tamu.php, karena kalau buat satu-satukan nulisnya lama, berikut ada cara yang termudah, yaitu dengan cara merubah User-Agent seperti berikut.

User-Agent: *
Disallow: tamu.php

Tanda * bertujuan agar semua spider dari situs pencarian tidak melakukan index terhadap file tamu.php

avatar
5 Comment threads
0 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
5 Comment authors
wow power levelingJhonnyair jordan 6lerryVandy Recent comment authors
  Subscribe  
newest oldest
Notify of
Vandy
Guest

nice article

wow power leveling
Guest
wow power leveling

Good post! I plan to move into this stuff after I’m done with school, as most of it is time consuming. It’s a great post to reference back to. My blog needs more time to gain in popularity anyway.|*|flyff gold|*|http://www.cheap-penya.com

wow power leveling
Guest
wow power leveling

Good post! I plan to move into this stuff after I’m done with school, as most of it is time consuming. It’s a great post to reference back to. My blog needs more time to gain in popularity anyway.|*|flyff gold|*|http://www.cheap-penya.com

lerry
Guest

boss artikelnya bagus, tapi saya mau nanya beneran do follow nih web…..kalo dari tanda2nya gak tuh! saya dah dicek dari PAGE Sourcenya…….sorry kalo salah.

lerry
Guest

boss artikelnya bagus, tapi saya mau nanya beneran do follow nih web…..kalo dari tanda2nya gak tuh! saya dah dicek dari PAGE Sourcenya…….sorry kalo salah.

air jordan 6
Guest

“Well , the coach outlet view of coach handbags the passage is totally correct ,your details is really reasonable and you guy give us valuable informative post, I totally agree the standpoint of upstairs. I often surfing on this forum when I m free and I find there are so much good information we can learn in this forum!
winter boots

Jhonny
Guest

nice info gan..terimakasih.

air jordan 6
Guest

“Well , the coach outlet view of coach handbags the passage is totally correct ,your details is really reasonable and you guy give us valuable informative post, I totally agree the standpoint of upstairs. I often surfing on this forum when I m free and I find there are so much good information we can learn in this forum! winter boots

Vandy
Guest

nice article

Jhonny
Guest

nice info gan..terimakasih.