Kelakuan Googlebot

January 21, 2006

Googlebot adalah mesin crawler/spider webpage milik search engine paling populer di dunia. Bagi para webmaster, mengerti kelakuan googlebot adalah sangat penting agar posisi-nya di ranking search engine bisa bagus. Dari beberapa informasi yang kuambil dari net, beberapa diantaranya adalah:

1. Dynamic pages yang mengandung huruf karakter ? tidak akan dicrawl

2. Kelakuan googlebot mirip lynx. Fitur-fitur Javascript, cookies, session ID, frame, DHTML, atau flash mungkin tidak dicrawl oleh bot

3. File robots.txt adalah file yang dibaca bot untuk mengetahui mana yang boleh dicrawl mana yang tidak

4. URL parameter seperti &id=haha TIDAK AKAN PERNAH dicrawl oleh bot.

SOLUSI:

1. Memakai teknik URL Rewriting yang telah kubahas di artikel terdahulu.

2. Memakai teknik pemrograman untuk membuat URL yang ramah (friendly).

Ada beberapa hal yang penting yang disarankan oleh Google sendiri kepada para webmaster:

1. Buatlah situs dengan hirarki yang jelas. Setiap page sebaiknya dapat diakses dari minimal satu halaman lain lewat static link

2. Buat deskripsi yang jelas tentang suatu halaman

3. Jangan remehkan tag TITLE dan ALT. Beri deskriptif text di situ

4. Periksa setiap broken link

5. Jangan masukkan link lebih dari 100 dalam satu halaman

6. Buatlah webpage untuk user, bukan untuk search engine!

.. mungkin aku akan segera mengimplementasikannya di web tempat aku bekerja, ITS segera.. ^__^

Posted in Developer