Archivo robots.txt

Importante archivo diminuto…

El archivo robots.txt se coloca en su directorio www o public_html. Por lo tanto, la ubicación correcta donde colocar este archivo es en www.example.com/robots.txt. Este archivo indica la “profundidad” a la que las arañas pueden rastrear su sitio web.

Es posible mantener una araña fuera de un directorio que se llama “clientes” o un directorio como “imágenes”. Obviamente es una petición, no una garantía. Y si no quieres que el archivo /secret1960 sea encontrado por nadie, tal vez sea mejor no ponerlo en Internet de todos modos, y especialmente no en tu archivo robots.txt. Si quieres proteger tu información utiliza una contraseña de seguridad como .htaccess o un login-script.

Lo más importante

  • Este archivo puede hacer o romper su sitio web si se utiliza mal.
  • Añada la etiqueta robots.txt en el directorio public_html o www.

Ejemplo de Robots.Txt

User-agent: * 
Disallow: /setup/
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /carpeta/

Descargar archivo de ejemplo

Robots.Txt

Puede descargar nuestro archivo de ejemplo.