Crawler Hints: Fitur Cloudflare Untuk SEO

Crawler Hints adalah fitur yang memberikan data berkualitas tinggi ke search engine crawlers saat ada perubahan konten di situs web yang menggunakan layanan Cloudflare, memungkinkan mereka mengatur waktu perayapan secara tepat, menghindari perayapan yang sia-sia, dan secara umum mengurangi konsumsi sumber daya pada server, crawler infrastructure, dan Cloudflare infrastructure dalam prosesnya. Search Engine seperti Google, Bing, Yandex, Baidu dan lainnya akan menerima sinyal untuk melakukan crawler(perayapan) di waktu yang tepat dan meperbarui SERP dengan konten yang relevan.

Bagaimana ini akan berhasil?

Crawler Hints akan memberi tahu search engin(mesin telusur) ketika sebuah halaman telah berubah, daripada harus menunggu mesin telusur menemukan bahwa perubahan telah terjadi. Biasanya search engine memiliki beberapa cara untuk memberi tahu mereka tentang kapan halaman individual atau grup halaman berubah.

Misalnya, Anda dapat meminta Google untuk merayapi ulang situs web, dan mereka akan melakukannya dalam “beberapa hari hingga beberapa minggu”.

Jika Anda ingin memberi tahu Google tentang perubahan secara efisien, Anda harus melacak kapan terakhir kali Google merayapi halaman dan memberi tahu mereka untuk merayapi ulang saat terjadi perubahan.

Dan tidak hanya ada satu search engine dan crawler. Mencoba untuk menjaga search engine tetap up to date saat situs Anda berubah secara efisien akan menjadi berantakan dan sangat sulit. Hal ini sebagian karena model ini tidak mengandung informasi eksplisit tentang kapan sesuatu berubah.

Model ini tidak bekerja dengan baik. Dan itulah sebagian mengapa perayap mesin telusur mau tidak mau membuang-buang energi untuk merayapi ulang situs berulang kali terlepas dari apakah ada sesuatu yang baru untuk ditemukan.

Namun, ada mekanisme yang digunakan oleh search engine untuk menemukan struktur situs web yang sempurna: peta situs. Peta situs adalah protokol terbuka yang terdefinisi dengan baik untuk memberi tahu crawler tentang halaman di situs, kapan terakhir kali diubah dan seberapa sering kemungkinan akan berubah.

Peta Situs memiliki beberapa batasan (pada jumlah URL dan byte) tetapi memiliki mekanisme untuk situs besar dengan jutaan URL. Tetapi membangun peta situs bisa jadi rumit dan memerlukan perangkat lunak khusus. Mendapatkan peta situs yang konsisten dan terbaru untuk situs web (terutama yang menggunakan teknologi berbeda) bisa sangat sulit.

Di situlah peran Cloudflare masuk, Cloudflare melihat halaman apa yang dilayani pelanggannya, tahu mana yang telah berubah (baik berdasarkan nilai hash atau stempel waktu) dan dengan demikian dapat secara otomatis membuat catatan lengkap tentang kapan dan halaman mana yang telah berubah.

Cloudflare juga dapat melacak kapan perayap penelusuran mengunjungi halaman tertentu dan hanya menyajikan apa yang berubah sejak terakhir kali. Karena Cloudflare dapat melacak ini berdasarkan mesin pencari, ini bisa sangat efisien. Setiap mesin pencari mendapatkan daftar URL atau peta situs yang diperbarui secara otomatis dari apa yang berubah sejak kunjungan terakhir mereka.

Ini sama sekali tidak menambah beban ke server asal situs web. Cloudflare dapat memberi tahu earch engine hampir secara real-time tentang modifikasi halaman dan memberikan pandangan tentang apa yang berubah sejak kunjungan terakhir mereka.

Protokol peta situs juga berisi prioritas untuk sebuah halaman. Karena mengetahui seberapa sering suatu halaman dikunjungi, juga dapat memberi petunjuk kepada mesin pencari bahwa suatu halaman sering dilihat oleh pengunjung dan dengan demikian mungkin lebih penting untuk ditambahkan ke indeks daripada halaman lain.

Singkatnya cara kerja crawler hints seperti berikut:

1. Anda memperbarui atau memodifikasi konten situs web.
2. Cloudflare memberi tahu search engine tentang perubahan pada situs web Anda.
3. Search engine melakukan crawler terhadap situs web Anda.
4. Search engine memperbarui situs web Anda di SERP.

Kesimpulan

Crawler Hints tidak hanya menguntungkan search engine. Crawler Hints akan memastikan bahwa mesin telusur dan pengalaman bertenaga bot lainnya akan selalu memiliki versi konten Anda yang paling baru, yang diterjemahkan menjadi pengguna yang lebih bahagia dan pada akhirnya memengaruhi peringkat penelusuran. Crawler Hints juga dapat mengurangi lalu lintas(traffic) ke server asal Anda, meningkatkan konsumsi sumber daya, dan membatasi dampak karbon. Selain itu, kinerja situs Anda juga akan ditingkatkan karena pelanggan situs web Anda tidak bersaing dengan bots!

Selengkapnya tentang update ini juga dapat Anda baca melalui artikel asli di link berikut: Crawler Hints: How Cloudflare Is Reducing The Environmental Impact Of Web Searches