Cara mengaktifkan robots.txt khusus pada blog

Cara mengaktifkan robots.txt khusus pada blog akan dibahas lengkap disini.
Robots.txt adalah suatu file yang di berguna untuk memudahkan suatu search engine mengindex halaman web anda. Jika search engine crawler datang di web kita, maka dia akan mencari file robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di index atau di abaikan.
Berikut beberapa kesalahan mengapa robot search engine menghindar dari web kita :

1. Robots.txt rusak atau berisi parameter yang salah
Jika robot google salah membaca isi robots.txt anda, maka google akan mengabaikan halaman web anda.
Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/

2. Halaman web anda mempunyai code terlalu panjang
Jika halaman web anda berisikan code javascript, CSS, Html dan lainnya yang terlalu banyak dan panjang, maka akan membuat web anda susah di akses ( lambat aksesnya).
Jika itu terjadi maka robot search engine akan kesulitan untuk mengurai isi web anda.

3. Navigasi menu web anda mempunyai masalah
Jika anda membuat menu yang menggunakan javascript,DHTML atau AJAX, maka menu tersebut tidak bisa di index oleh robot search engine. Karena robot search engine hanya bisa mengindex link yang menggunakan HTML.

4. URL website anda masih bersifat URI dan banyak variabel
Jika url anda terlalu banyak variable, maka google juga akan mengabaikan halaman web anda. Kalian harus menggunakan URL yang dinamis dengan ekstensi yang jelas.
Contoh URL yang terlalu banyak variable :

http://domain.com/page.php?page=1&id=2&mirror=3&direct=index.html

Pernyataan resmi dari search engine google :
“Google indexes dynamically generated webpages, including .asp pages, .php pages, and pages with question marks in their URLs. However, these pages can cause problems for our crawler and may be ignored.”

5. Menggunakan session ID di web anda
Search engine google tidak mau mengindex suatu URL yang berisikan session ID karena menyebabkan duplicate content.
Penggunaan cookies lebih baik dari pada menggunakan session ID

Setelah mengetahui manfaat, kegunaan dan kriterianya langsung saja beralih ke topik utama adalah sebagai berikut :

Kode Robot TXT Blog :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://riukenjogang.blogspot.com/feeds/posts/default?orderby=UPDATED

Gantilah sitemap default diatas dengan merubah url http://riukenjogang.blogspot.com dengan blog anda.

Cara mengganti Robot Txt pada Blog :

1. Silahkan login ke blog
2. Masuk ke rancangan/dashboard
3. Pilih menu Setelan
4. Klik submenu Preferensi Penelusuran

Aktifkan Robot.txt khusus dengan klik Edit , lalu pilih Enable : Yes

5. Masukkanlah kode robot.txt tadi didalamnya.
6. Simpan dan Selesai.

Untuk tambahan, silahkan tambahkan meta tag pada bagian bawah <head> di dalam Edit HTML Template blogger sahabat.
<meta content='INDEX, FOLLOW' name='GOOGLEBOT'/>
<meta content='index, follow, all' name='robots'/>

Kegunaannya adalah agar dibaca oleh robot search engine google yaitu GOOGLEBOT dan ditangkap oleh semua robot yang ada pada semua search engine yang dinotasikan hanya dengan kata ROBOT. Semoga informasi serta penjelasan ini dapat bermanfaat agar situs kita semakin baik pada search engine.

Source: http://www.impoint.info/2013/07/memasang-kode-robot-txt-dengan-benar.html#ixzz2xo374ZHU