Memahami Fungsi File Robots.txt

Robots.txt merupakan file yang berfungsi untuk mengendalikan atau mengkontrol user-agent (seperti: Googlebot) dalam mengcrawling halaman website. Jika anda ingin Google dapat menjelajahi seluruh file yang ada di website, anda tidak perlu membuat file robots.txt sama sekali. Namun jika anda ingin memblokir Googlebot untuk mengcrawling beberapa folder di website anda, anda perlu membuat file robots.txt dan menetapkan Googlebot sebagai user-agent.

Dengan robots.txt anda juga dapat mengkontrol Googlebot dalam mengcrawler website anda dengan lebih spesifik. Misalnya, Anda ingin seluruh halaman yang ada di website dapat di crawling oleh Googlebot namun anda tidak ingin file gambar dalam direktori website anda untuk dapat di crawling. Nah, dalam hal ini, anda harus menggunakan robots.txt untuk tidak mengizinkan user-agent Googlebot-Image dalam mengcrawling file gambar pada direktori tersebut (Namun Googlebot tetap dapat menjelajahi semua halaman website anda). Maka robots.txt yang anda harus buat adalah seperti berikut:

Keterangan:

Pada bagian User-agent anda menyebutkan jenis User-agent milik Google.
Pada bagian Disallow anda menyebutkan nama folder yang ingin anda block untuk tidak di crawling oleh Googlebot.

Berikut keterangan selengkapnya mengenai Crawler dan User-agents: