Fungsi Meta Tag Robots & Googlebot

Pada artikel sebelumnya saya sudah membahas mengenai fungsi file robots.txt, dan di artikel SEO kali ini saya akan lanjutkan materinya dalam membahas fungsi meta tag robots. Apa sih bedanya robots.txt dan meta tag robots? Kalau robots.txt merupakan sebuah file yang kita buat di directory hosting dimana fungsinya mengkontrol Googlebot (spider) dalam mengakses halaman website, sedangkan meta tag robots ditulis diantara tag <head> di dalam halaman website itu sendiri dan fungsinya untuk mengizinkan atau memblokir Googlebot dalam mengindex halaman tersebut.

Meta tag robots adalah jenis meta tag html yang berfungsi memberikan kontrol terhadap Googlebot atau Spider dalam mengindex masing-masing halaman website. Meta tag robots ditulis di dalam tag <head>, seperti berikut:

Meta tag robots di atas menginstruksikan semua mesin pencari untuk tidak menampilkan halaman tersebut dalam hasil pencarian. Atribut name="robots" akan berlaku untuk semua jenis crawler. Untuk crawler tertentu, kita harus mengganti nama robots dengan nama web crawler dari masing-masing search engine. Misalnya, web crawler standar Google memiliki nama Googlebot. Jika kita ingin hanya Googlebot yang tidak dapat mengindex halaman tersebut, maka kita harus mengganti atribut name="robots" menjadi seperti berikut:

Nah, meta tag di atas hanya menginstruksikan Google (bukan untuk mesin pencari lainnya) untuk tidak menampilkan halaman tersebut dalam hasil pencarian Google.