Apa itu Robots.txt?

0 0 vote
Article Rating

Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar di index oleh spider. Cara membuatnya sangatlah mudah, hanya dengan menggunakan softwere editor seperti NOTEPAD sudah bisa, akan tetapi jangan membuat file robots.txt dengan program pengolah kata seperti MS WORD.

Berikut adalah sintag dasar dari Robots.txt

User-Agent: [nama spider]
Disallow: [nama-file]

Sebagai contoh, sepider milik Alta Vista (av.com) adalah Scooter, Google adalah googlebot dan masih banyak lagi.

Sekarang kita ingin mencoba untuk menggunakan sintag robots, misal kita ingin spider tidak melakukan idex terhadap file tamu.php, maka sintagnya adalah:

User-Agent: Scooter
Disallow: tamu.php

File robots tersebut berfungsi agar spider dari scooter (milik AV) tidak melakukan idex terhadap file tamu.php, kalau ingin spider dari google tidak mengindex file tamu.php maka kita hanya menggubah User-Agent menjadi Googlebot.

Kemudia, bagaimana caranya agar semua spider milik situs pencarian tidak melakukan idex terhadap file tamu.php, karena kalau buat satu-satukan nulisnya lama, berikut ada cara yang termudah, yaitu dengan cara merubah User-Agent seperti berikut.

User-Agent: *
Disallow: tamu.php

Tanda * bertujuan agar semua spider dari situs pencarian tidak melakukan index terhadap file tamu.php

0 0 vote
Article Rating
Subscribe
Notify of
guest
10 Comments
Most Voted
Newest Oldest
Inline Feedbacks
View all comments
Vandy
24 February 2008 18:15

nice article

lerry
8 July 2009 09:35

boss artikelnya bagus, tapi saya mau nanya beneran do follow nih web…..kalo dari tanda2nya gak tuh! saya dah dicek dari PAGE Sourcenya…….sorry kalo salah.

air jordan 6
9 July 2010 03:26

“Well , the coach outlet view of coach handbags the passage is totally correct ,your details is really reasonable and you guy give us valuable informative post, I totally agree the standpoint of upstairs. I often surfing on this forum when I m free and I find there are so much good information we can learn in this forum!
winter boots

Jhonny
8 November 2010 07:36

nice info gan..terimakasih.

wow power leveling
wow power leveling
29 June 2009 06:09

Good post! I plan to move into this stuff after I’m done with school, as most of it is time consuming. It’s a great post to reference back to. My blog needs more time to gain in popularity anyway.|*|flyff gold|*|http://www.cheap-penya.com

Vandy
20 November 2018 14:56

nice article

air jordan 6
20 November 2018 14:56

“Well , the coach outlet view of coach handbags the passage is totally correct ,your details is really reasonable and you guy give us valuable informative post, I totally agree the standpoint of upstairs. I often surfing on this forum when I m free and I find there are so much good information we can learn in this forum! winter boots

Jhonny
20 November 2018 14:56

nice info gan..terimakasih.

wow power leveling
wow power leveling
20 November 2018 14:57

Good post! I plan to move into this stuff after I’m done with school, as most of it is time consuming. It’s a great post to reference back to. My blog needs more time to gain in popularity anyway.|*|flyff gold|*|http://www.cheap-penya.com

lerry
20 November 2018 14:57

boss artikelnya bagus, tapi saya mau nanya beneran do follow nih web…..kalo dari tanda2nya gak tuh! saya dah dicek dari PAGE Sourcenya…….sorry kalo salah.