Robots.txt dalam WordPress

Robots.txt adalah file teks yang memungkinkan situs web memberikan petunjuk ke crawling  bot web. Mesin pencari seperti Google menggunakan crawler web,  terkadang disebut robot web, mengarsipkan dan mengkategorikan situs web. Sebagian besar bot dikonfigurasi untuk mencari file robots.txt di server sebelum membaca file lain dari situs web. Hal ini untuk melihat apakah pemilik situs web memiliki beberapa petunjuk khusus tentang cara crawl dan mengindeks situs mereka.

File robots.txt berisi seperangkat instruksi yang meminta bot untuk mengabaikan file atau direktori tertentu. Ini mungkin untuk tujuan privasi atau karena pemilik situs web percaya bahwa isi file dan direktori tersebut tidak relevan dengan kategori  situs web di mesin pencari.

Jika sebuah situs web memiliki lebih dari satu subdomain, setiap subdomain harus memiliki file robots.txt sendiri. Penting untuk dicatat bahwa tidak semua bot akan menghormati file robots.txt. Beberapa bot jahat bahkan akan membaca file robots.txt untuk menemukan file dan direktori mana yang harus mereka targetkan terlebih dahulu. Selain itu, bahkan jika file robots.txt menginstruksikan bot untuk mengabaikan halaman tertentu di situs tersebut, halaman tersebut mungkin masih muncul di hasil pencarian yang terkait dengan halaman lain yang telah dilakukan proses crawl.