Cara Membuat Robot.txt Khusus

Kali ini Blog Scrup akan membahas tentang Cara Membuat Robot.txt Khusus untuk membuat blog kita terindex oleh robot di search engine. Jadi kita tidak perlu mengeping blog kita secara berkala dan membuat google mengcrawl blog kita dan seluruh postingan di blog kita dapat terindex oleh google.

Beberapa contoh penulisan robot.txt :

Untuk potingan yang kurang dari 500 artikel

    User-agent: *
    Disallow: /search
    Allow: /
 Sitemap:http://Blogscrup.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500  

Untuk postingan blog yang diatas 500-1000 artikel

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://Blogscrup.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500 

Untuk postingan blog 1000-1500 artikel

    User-agent: *
    Disallow: /search
    Allow: /

Sitemap: http://Blogscrup.blogspot.com/atom.xml?redirect=false&start-index=1001&max-results=500 

Perhatikan tulisan yang saya beri tanda warna Biru, ganti dengan nama web atau blog Anda, kemudian simpan perubahan.

Peringatan :

1. Hati-hati dalam menyusun perintah di robots.txt, kesalahan perintah bisa berakibat situs Anda tidak diindeks oleh mesin pencari.

2. File robots.txt harus diberi nama persis: robots.txt dan bukan dengan nama lain (pastikan huruf kecil semua).
 3. File robots.txt harus diletakkan di direktori utama (root). Contoh: http://www.komputeran.com/robots.txt .4. Khusus pengguna Blogger, Anda dapat membuat file robots.txt untuk blog Anda via fitur yang telah tersedia di bagian: Setelan > Preferensi penelusuran > Perayap dan pengindeksan.
 5. Jika Anda ingin melarang program robot tertentu namun tidak mengetahui nama User-agent-nya, maka periksa log atau analisis statistik situs Anda, atau temukan daftarnya di situs http://www.user-agents.org.
 6. Jika Anda ingin agar sebuah halaman atau folder rahasia di situs Anda tidak diindeks program robot, sebaiknya jangan menggunakan robots.txt untuk melarangnya. Hal ini disebabkan file robots.txt dapat diakses dan dilihat oleh siapapun, sehingga justru akan menjadi bumerang. Gunakan file .htaccess atau metode pengaman lainnya jika memang Anda ingin benar-benar merahasiakan lokasi tertentu.

Lalu, ada hal yang perlu anda ketahui, yaitu :

Ada dua bagian perintah utama yang lazim digunakan di file robots.txt, yaitu :

    1. User-agent: untuk menetapkan pengaturan pada robot yang tercantum di bagian ini. Jika pengaturan diberlakukan untuk semua robot, maka gunakan simbol bintang *.
    2. Disallow: untuk menetapkan halaman mana yang tidak boleh diindeks oleh robot yang disebutkan di bagian User-agent. Perintah pelarangan diawali dengan simbol garis miring /.


Selanjut nya ini ada beberapa contoh penulisan perintah di dalam file robots.txt beserta penjelasannya, yaitu :

1. Untuk mempersilakan semua program robot untuk mengindeks situs Anda, maka tuliskan baris berikut:
User-agent: *
Disallow:
Penjelasan: semua robot tidak dilarang atau bebas mengindeks. Perintah ini paling lazim digunakan para pemilik situs.

Sebaliknya, jika ingin melarang robot manapun untuk mengindeks situs Anda, maka tuliskan baris berikut:
User-agent: *
Disallow: /
Penjelasan: semua robot dilarang mengindeks (misalnya dipakai di situs underground)


2. Untuk melarang robot mengakses halaman tertentu, tuliskan baris berikut:
User-agent: *
Disallow: /login.html
Disallow: /cadangan/
Disallow: /member/info.php
Penjelasan: robot tidak boleh mengindeks file login.html, folder cadangan, dan halaman info.php di folder member.

3. Untuk melarang sebuah program robot tertentu namun mengijinkan robot-robot lainnya, tuliskan baris berikut:
User-agent: namarobot
Disallow: /
Penjelasan: robot bernama namarobot tidak boleh mengindeks.

4. Untuk mengijinkan sebuah robot tertentu dan melarang robot-robot lainnya, tuliskan baris berikut:
User-agent: Google
Disallow:

User-agent: *
Disallow: /
Penjelasan: robot Google boleh mangeindeks, lainnya tidak boleh.

5. Sebagai tip, Anda juga dapat menuliskan lokasi file sitemap.xml situs Anda di baris terakhir:
User-agent: *
Disallow:

Sitemap: http://blogscrup.blogspot.com/feeds/posts/default?orderby=updated
Penjelasan: tambahkan url lengkap alamat file sitemap situs Anda. Jika punya beberapa sitemap, tuliskan di baris berikutnya.

6. Beberapa robot mesin pencari terkemuka juga bisa memahami penggunaan wildcard untuk melarang beberapa lokasi dengan satu atau dua baris perintah:
User-agent: *
Disallow: /*.pdf$
Disallow: /arsip*/
Penjelasan: baris kedua melarang semua robot mengindeks semua file pdf. Baris ketiga melarang pengindeksan pada folder-folder yang diawali dengan kata arsip (misalnya /arsip-2010, /arsip-2011, /arsiplama, dan sebagainya).

Demikian lah artikel saya kali ini tentang Cara Membuat Robot.txt Khusus, semoga dapat bermanfaat.