Cara Google dalam Crawling, Indexing, dan Serving

Mungkin selama ini sebagian dari kita masih banyak yang belum tahu bagaimana proses dan cara Google dalam menemukan halaman website hingga menentukan urutannya pada hasil pencarian. Gambaran sederhananya, saat kita melakukan pencarian di Google, program Google akan memeriksa seluruh halaman website yang sudah berada pada index Google dan menentukan halaman mana yang paling relevan untuk kemudian ditampilkan di hasil pencarian.

Ada 3 tahapan yang dilakukan oleh Google mulai dari mencari halaman website hingga menampilkannya di hasil pencarian:

1. Crawling

Crawling adalah proses dimana Googlebot menemukan halaman baru yang akan ditambahkan ke dalam indeks Google. Program yang melakukan pengambilan data halaman website disebut Googlebot (juga dikenal sebagai robot, bot, atau spider). Dalam proses Crawling, Googlebot akan menentukan website mana yang akan dicrawling, akan seberapa sering dicrawling, dan berapa banyak halaman yang akan dicrawling dari masing-masing website.
Proses Crawling ini dimulai dari kumpulan daftar url halaman yang didapatkan dari proses Crawling sebelumnya dan juga daftar url dari sitemap yang telah disubmit ke Google Webmaster Tool. Urutan prosesnya, Googlebot mengunjungi sebuah website, kemudian mendeteksi adanya link pada halaman website tersebut, melalui link tersebut Googlebot akan menemukan halaman yang lainnya untuk dicrawling.

2. Indexing

Pada tahap ini, Googlebot memproses setiap halaman yang telah dicrawling untuk dimasukan ke dalam daftar index. Selain itu, Googlebot memproses informasi yang masuk dalam kata kunci seperti title tag dan atribut alt. Dalam proses indexing, Googlebot akan mampu mengindex banyak jenis konten kecuali file flash.

3. Serving

Pada tahap ini Google akan menilai konten website anda, apakah berguna, relevan dan pantas untuk ditampilkan di hasil pecarian. Ketika seseorang mengetikan query di google maka google akan mencari dan memilih halaman yang cocok dan relevan untuk ditampilkan pada hasil pencarian. Relevansi ditentukan oleh lebih dari 200 faktor dan salah satunya adalah nilai PageRank pada halaman tersebut.