El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.
Debes crear una archivo llamado robots.txt, cargar en el el sgte codigo:
User-agent: *
Disallow: /directory/
(Ejemplo que dice a un robot específico no entrar en un directorio)
Guardarlo y subirlo en el directorio raíz de tu sitio.
Obs.: debes cambiar “directory por el nombre del directorio que deseas bloquear.
Personalmente lo utilicé para excluir el directorio donde hago mis experimentos.
Los resultados los verás en unos días.
Fuente: http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots
