Blog Request tutorial? klik disini!

  • Memahami Fungsi File Robots.txt

    Ditulis oleh: Renra Iwa Sedoya
    2146 kali dibaca
    02 Feb / 2014 10:30

    Robots.txt merupakan file yang berfungsi untuk mengendalikan atau mengkontrol user-agent (seperti: Googlebot) dalam mengcrawling halaman website. Jika anda ingin Google dapat menjelajahi seluruh file yang ada di website, anda tidak perlu membuat file robots.txt sama sekali. Namun jika anda ingin memblokir Googlebot untuk mengcrawling beberapa folder di website anda, anda perlu membuat file robots.txt dan menetapkan Googlebot sebagai user-agent.

    Dengan robots.txt anda juga dapat mengkontrol Googlebot dalam mengcrawler website anda dengan lebih spesifik. Misalnya, Anda ingin seluruh halaman yang ada di website dapat di crawling oleh Googlebot namun anda tidak ingin file gambar dalam direktori website anda untuk dapat di crawling. Nah, dalam hal ini, anda harus menggunakan robots.txt untuk tidak mengizinkan user-agent Googlebot-Image dalam mengcrawling file gambar pada direktori tersebut (Namun Googlebot tetap dapat menjelajahi semua halaman website anda). Maka robots.txt yang anda harus buat adalah seperti berikut:

    google, seo

    Keterangan:

    Pada bagian User-agent anda menyebutkan jenis User-agent milik Google.
    Pada bagian Disallow anda menyebutkan nama folder yang ingin anda block untuk tidak di crawling oleh Googlebot.

    Berikut keterangan selengkapnya mengenai Crawler dan User-agents:

    kursus seo, kursus internet marketing






Baca juga

Rukan Artha Gading Niaga Blok i - 23, Jalan Boulevard Artha Gading

Kelapa Gading, Jakarta Utara 14240

(Belakang Mall Artha Gading)

Telp: (021) 4585-0387


Ruko Permata Regensi Blok B - 18, Jalan Haji Kelik

Srengseng, Kebon Jeruk, Jakarta Barat 11630

(Depan Hutan Kota Srengseng)

Telp: (021) 5890-8355


Ruko Jalan Taman Daan Mogot Raya No. 23

Kel. Tanjung Duren Utara Kec. Grogol Petamburan, Jakarta Barat 11470

(Belakang Mall Citraland dan Kampus UNTAR II)

Telp: (021) 2941-1188


Ruko Jalan Kartini Raya No. 53

Pancoran Mas, Depok 16436

(± 5 Menit dari Kantor Walikota Depok)

Telp: (021) 7720-7657


Rukan Crown Palace Blok A no 12, Jl Prof Dr Soepomo no 231 (Samping Universitas Sahid).

Kec. Tebet, Kel. Menteng Dalam.

(± 1 Menit dari Tugu Pancoran)

Jakarta Selatan 12870

Telp: (021) 2298-3886

Buka setiap hari Senin - Minggu jam 09.00 s/d 21.00

SMS: 0851-0055-5666 / 0819-7555-666 / 0812-9933-3913 / 0812-9393-3210 / 0812-1999-9155