Cara Membuat Robot.txt Valid

Kali ini saya akan share Cara Agar Robots.txt Blogmu Valid. Sebelum saya membeberkan caranya, mungkin kalian bingung apa itu Robots.txt. Apa sih Robots.txt itu? Robots.txt adalah sebuah file dengan sebuah fungsi yang digunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang kalian miliki. Sebelum SE (Search Engine) mulai menjelajah web kalian, SE akan terlebih dahulu mengecek apakah web tersebut memiliki robots.txt atau tidak. Jika ada, maka SE akan mengindex sesuai perintah yang ada dalam robots.txt tersebut.
          Nah trus apa keuntungan robots.txt kalian telah valid? Apabila sebuah web yang memiliki robots.txt yang valid maka artikel yang ada dalam web tersebut muncul dalam SE. Nah betapa ruginya kalian jika kalian telah membuat artikel yang berkualitas tetapi robots.txt nya belum valid? Oleh karena itu, hari ini saya akan share cara agar robots.txt blog/web kalian valid.

Step 1. Cek robots.txt milikmu.

Pertama-tama alangkah baiknya periksa dulu apakah web/blog kalian memiliki robots.txt yang valid yaitu dengan masuk ke web tool.motoricerca.info lalu masukkan alamat web/blog kalian ke dalam kotak yang tersedia atau perhatikan gambar di bawah ini.

Alamat web/blog kalian harus diberi tambahan /robots.txt contohnya
seperti ini http://rendy-vxc.blogspot.com/robots.txt kemudian klik Check robots.txt maka akan keluar hasil robots.txt milik kalian. Apabila robots.txt kalian belum valid maka hasilnya seperti ini.

Lihat gambar di atas, error tersebut muncul apabila robots.txt milik kalian belum valid.

Step 2. Bagaimana cara memperbaikinya?

Nah apabila ternyata robots.txt milik kalian belum valid, maka robots.txt kalian harus diperbaiki secara manual. Berikut adalah contoh robots.txt yang belum valid.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://alamatbloganda.blogspot.com/feeds/posts/default?orderby=UPDATED

Kesalahan robots.txt di atas adalah terletak pada Line 6, dimana ada perintah  Allow: /
padahal perintah tersebut tidak diterima oleh User-agent dan perintah yang di terima User-agent  adalah Disallow. Maka kalian harus menggantinya dengan Disallow (Kalian dapat menulis kembali robots.txt yang belum valid dan memperbaikinya secara manual di Notepad, Wordpad dsb).
Catatan : Pada alamat blog anda diatas apabila kalian menggunakan web maka www harus disertakan.

Step 3. Pasang robots.txt ke dalam blog.

Masuklah ke dalam settingan blog kalian. Kemudian pilih Pengaturan--Preferensi Penelusuran -- robots.txt khusus kilik edit Ya dan masukan kode robots.txt yang telah diedit tadi.

Klik Simpan Perubahan.

Kembali ke web robots.txt Checker tadi dan hasilnya seperti gambar di bawah ini apabila robots.txt kalian telah valid.

Cukup sekian dari saya, semoga bermanfaat bagi kita semua. Good Luck.