Jumat, 28 Maret 2025
Dalam postingan sebelumnya tentang Protokol Pengecualian Robot (REP), kita telah mempelajari berbagai hal yang sudah dapat Anda lakukan dengan berbagai komponennya, yaitu kontrol tingkat URI dan robots.txt. Dalam postingan ini, kita akan mempelajari bagaimana REP dapat memainkan peran pendukung dalam hubungan yang terus berkembang antara klien otomatis dan web buatan manusia.
REP—khususnya robots.txt—ditetapkan menjadi standar pada tahun 2022 sebagai
RFC9309.
Namun, pekerjaan beratnya sudah dilakukan jauh sebelum standardisasi ini: standar ini mampu bertahan melawan tantangan yang terus berubah antara tahun
1994 dan 2022, karena itulah ia menjadi cukup populer hingga diadopsi oleh miliaran host dan hampir semua
operator crawler ternama (tidak termasuk crawler pendeteksi bahaya seperti pemindai malware). Standar ini
merupakan solusi yang mudah dan elegan untuk mengekspresikan preferensi dengan sintaksis yang sederhana tetapi juga fleksibel.
Selama 25 tahun keberadaannya, standar ini hampir tidak pernah berubah dari format aslinya. Jika kita hanya memperhitungkan
aturan yang didukung secara universal oleh crawler, bisa dibilang satu-satunya perubahan yang diterapkan adalah penambahan aturan allow.
Namun, ini bukan berarti tidak ada aturan lain; operator crawler dapat membuat aturannya
sendiri. Misalnya, aturan seperti "clean-param" dan "crawl-delay" bukanlah
bagian dari RFC9309, tetapi didukung oleh beberapa mesin telusur, meski bukan Google Penelusuran.
Aturan "sitemap", yang lagi-lagi bukan bagian dari RFC9309, didukung oleh semua
mesin telusur ternama. Dengan dukungan yang memadai, bukan tidak mungkin ini akan menjadi aturan resmi di REP nantinya.
Karena faktanya, REP juga bisa mendapatkan "pembaruan". Protokol ini didukung secara luas dan akan berkembang seiring dengan evolusi internet. Membuat perubahan pada REP bukan hal yang mustahil, tetapi tentunya tidak mudah; dan memang semestinya tidak mudah karena REP didukung secara luas. Layaknya perubahan pada suatu standar, harus ada konsensus bahwa perubahan tersebut akan bermanfaat bagi sebagian besar pengguna protokol, baik di sisi penayang maupun operator crawler.
Karena kemudahan dan penerapannya yang luas, REP adalah opsi yang bagus untuk mengakomodasi berbagai preferensi crawling baru: misalnya, miliaran penayang sudah terbiasa dengan robots.txt dan sintaksisnya, sehingga mereka dapat melakukan perubahan dengan lebih mudah. Di sisi lain, operator crawler sudah memiliki parser dan matcher yang andal dan telah teruji dengan baik (Google pun menyediakan parser robots.txt-nya sendiri secara open source), sehingga kemungkinan besar tidak akan ada masalah penguraian pada aturan baru.
Hal yang sama juga berlaku untuk ekstensi tingkat URI REP, header HTTP X-robots-tag, dan
tag metanya. Jika diperlukan aturan baru untuk menerapkan preferensi ketidakikutsertaan, komponen tersebut
dapat diperluas dengan mudah. Bagaimana caranya?
Hal terpenting yang dapat Anda lakukan sebagai pembaca adalah membahas ide Anda secara publik dan mengumpulkan pendukung untuk ide tersebut. Karena REP adalah standar publik, tidak ada entitas yang dapat melakukan perubahan sepihak pada REP; tentu saja, mereka dapat menerapkan dukungan untuk sesuatu yang baru, tetapi hal itu tidak akan ditetapkan sebagai standar. Namun, dengan membahas perubahan tersebut dan menunjukkan kepada ekosistem—baik operator crawler maupun ekosistem penayang—bahwa perubahan tersebut bisa bermanfaat bagi semua orang, mungkin saja konsensus akan terbentuk, dan hal ini akan membuka jalan untuk pembaruan standar.
Demikian pula, jika dirasa ada sesuatu yang kurang dalam protokol, Anda dapat membahasnya secara publik. sitemap
menjadi aturan yang didukung secara luas di robots.txt karena berguna bagi kreator konten dan mesin
telusur. Hal inilah yang kemudian membuka jalan untuk penerapan ekstensi ini. Jika Anda memiliki ide baru terkait
suatu aturan, tanyakan pendapat pengguna dan pembuat robots.txt tentang aturan tersebut dan ajak mereka
membahas potensi (dan kemungkinan) masalah yang bisa saja muncul, lalu tulis proposalnya.
Jika motivasi Anda adalah melayani kepentingan bersama, usaha ini akan terasa sepadan.