Los robots.txt

El robots.txt es un fichero de texto plano que sirve para poder comunicarse con los robots de búsqueda.
Se pueden incluir los siguientes mensajes en el archivo:
Allow - Disallow:
  • Aviso masivo de lo que queremos que indexe o no.
  • Se pueden incluir URLs o directorios.
Follow - No Follow:
  • Indica si tiene que seguir los enlaces que hay en una página o no.
Index - No Index:
  • Avisa a los buscadores de lo que se quiere indexar y lo que no.

No hay comentarios:

Publicar un comentario