Entradas etiquetadas como excluir directorios

Como excluir directorios de tu pagina en los motores de busquedas

El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.

Debes crear una archivo llamado robots.txt, cargar en el el sgte codigo:
User-agent: *
Disallow: /directory/

(Ejemplo que dice a un robot específico no entrar en un directorio)
Guardarlo y subirlo en el directorio raíz de tu sitio.

Obs.: debes cambiar “directory por el nombre del directorio que deseas bloquear.

Personalmente lo utilicé para excluir el directorio donde hago mis experimentos.

Los resultados los verás en unos días.

Fuente: http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots

, ,

Deja un comentario