Lompat ke isi

Robots.txt

Dari Wikipedia bahasa Indonesia, ensiklopedia bebas

Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.[1]

Catatan kaki

[sunting | sunting sumber]

Pranala luar

[sunting | sunting sumber]