Pengertian Dari Fungsi robot.txt Bagi Blog

Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google, Bing, Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki . Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada ataukah tidak , dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.

Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman di search engine (Google,yahoo,Bing) yang tidak kita inginkan , karena mungkin ada beberapa halaman web yang tidak ingin di index oleh search engine. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt .

Meskipun Google / Mesin pencari (Search Engine ) lainnya tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh robots.txt, masih mungkin URL kita di index , hal ini terjadi karena URL kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi informasi publik & dapat muncul dalam hasil pencarian.

dalam hal ini menurut saya robot.txt sangatlah bermanfaat sekali untuk web / blog yang kita miliki agar teroptimasi lebih sempurna di mesin pencari (Search Engine ) dan saya menyarankan untuk membaca custom robot.txt Blogspot yang baik dan benar ada optimasinya lebih sempurna.
sekian dahulu untuk Pengertian dari fungsi robot.txt bagi Blog dalam Search Engine semoga bermafaat bagi web / situs anda