Como excluir directorios de tu pagina en los motores de busquedas

El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.

Debes crear una archivo llamado robots.txt, cargar en el el sgte codigo:
User-agent: *
Disallow: /directory/

(Ejemplo que dice a un robot específico no entrar en un directorio)
Guardarlo y subirlo en el directorio raíz de tu sitio.

Obs.: debes cambiar “directory por el nombre del directorio que deseas bloquear.

Personalmente lo utilicé para excluir el directorio donde hago mis experimentos.

Los resultados los verás en unos días.

Fuente: http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots

Anuncios

, ,

  1. Deja un comentario

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: