Fungsi robot.txt

Penjabaran sederhana tentang Robots.txt adalah..
Perintah yang difungsikan untuk membatasi dan mengontrol mesin pencari dalam merambani (meng-index) halaman web kita.

Mana halaman yang tidak ingin dipublikasikan dan mana halaman yang ingin dipublikasikan..
kita bisa mengaturnya melalui robots.txt ini.

Perintah yang digunakan adalah DISALLOW dan ALLOW.
DISALLOW: melarang untuk dirambani.
ALLOW: mengizinkan untuk dirambani.

Pada dashboard blogger tampilan baru, cara untuk menyeting robot.txt sangat dipermudah, tidak perlu repot-repot lagi untuk upload file robots.txt

Menu Setelan  •  Preferensi Penelusuran  •  robot.txt khusus

Perintah umum (recommended google) adalah:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow:

Sitemap: http://www.romli.net/feeds/posts/default?orderby=updated

Untuk penggunaan di blogger tinggal copy teks diatas lalu paste di kolom teks area pengaturan robots.txt khusus.
*Alamat sitemap ganti dengan alamat sitemap anda.



Arti dari perintah robots.txt:

User-agent: Mediapartners-Google
Robot pengindex Mediapartners-Google (google adsense) dibolehkan untuk mengindex.

Disallow: 
Tidak ada larangan untuk merambani (karena tidak terdapat / dibelakangnya)
Dalam perintah ini untuk mempermudah google adsene dalam menyesuaikan penayangan iklan dengan konten situs anda.

User-agent: *
Tanda bintang berarti "seluruh robot peng-index" dibolehkan untuk mengindex.

Disallow: 
Tidak ada larangan untuk merambani (karena tidak terdapat / dibelakangnya)

Jika ingin melarang perambanan di semua halaman, tambahi / dibelakangnya
Disallow: /

Bila ingin halaman tertentu saja yang dilarang untuk dirambani tambahkan nama halaman tersebut setelah /  misal:
Disallow: /search
Berarti melarang untuk merambani halaman search

Allow: /
Memperbolehkan untuk merambani semua halaman (kebalikan dari Disallow)

Sitemap:
Alamat sitemap anda.
Membantu mesin pencari untuk mempermudah dan mempercepat melakukan perambanan di web kita.

Untuk melihat secara langsung hasil editan robots.txt kita.
Setelah menyimpannya, kita tinggal menambahkan /robots.txt di belakang URL kita
Misal: http://www.romli.net/robots.txt

Sebagai perbandingan, kunjungi link berikut..
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
Anda akan diajak untuk membuat robots.txt dengan generator tool.

Semoga bermanfaat..
sumber: romli