• Inicio
  • Galeria Fotografica
  • 500px
  • Flickr
  • GitHub
  • Ir a navegación principal
  • Ir al contenido principal
  • Ir a la barra lateral primaria

HugoRC

Web personal sobre Linux, seguridad y demás movidas.

  • Inicio
  • Sobre mi
  • Proyectos
  • Galeria Fotografica
  • Contactar
  • Show Search
Hide Search

Como usar el archivo robots.txt

septiembre 18, 2014 Por HugoRC

¿Que función tiene el archivo robots.txt?

La función principal es la de impedir que los bots puedan escanear determinadas secciones de nuestro sitio o restringir el acceso a algún archivo en particular.

Antes de escanear un sitio web, los robots siempre consultan el robots.txt.

1º de todo: El archivo robots.text tiene que estar en la raiz de tu sitio.

Las reglas son sencillas:

  • User-Agent: Indica el nombre del robot, si no se queriere definir uno en particular se puede aplicar la regla para todos con el *.
  • Disallow: URL a bloquear.

Ejemplos rapidos:

Bloquear carpeta de imágenes para que no salga en google images:

User-agent: Googlebot-Image
Disallow: /fotosvacaciones/

Bloquear una carpeta a todos los robots:

User-Agent: *
Disallow: /proyectos/

Bloqueamos la indexacion del robot de google para la carpeta de archivos contables

User-Agent: Googlebot
Disallow: /archivos-contables/

Bloqueamos un pdf concreto para todos los robots.

User-Agent: *
Disallow: /manuales/guia-interna-estilo.pdf

Y para terminar un poco de humor, el archivo robots de la web oficial de la casa real.

UrdangarinEnlace a la base de datos de todos los robots. Hay que tener en cuenta de que no todos los robots hacen lo mismo, no solo indexan información.

 

Archivado en:Seguridad Informatica, Web

Barra lateral primaria

Categorías

  • Diseño Grafico
  • Diseño web
  • IT
  • Linux
  • Portfolio
  • raspberry
  • Seguridad Informatica
  • Tecnología y gadgets
  • Web
  • WordPress

Entradas recientes

  • Como instalar Raspbian en una Raspberry
  • Hacer inventarios y controlar equipos con OCS Inventory
  • Guía de estilo para el uso de tipografías
  • SublimeText, explicación rapida para aprovecharlo al 100%
  • Como crear particiones encriptadas en LINUX

HugoRC @ 2020

Utilizamos cookies para darte la mejor experiencia. Si no estas de acuerdo puedes decidir no aceptarlas.

Puedes informarte más sobre qué cookies estamos utilizando o desactivarlas en los AJUSTES.

HugoRC
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible.

La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Cookies estrictamente necesarias

Las cookies estrictamente necesarias tiene que activarse siempre para que podamos guardar tus preferencias de ajustes de cookies y demás información basica para que tu experiencia sea la mejor.

Si desactivas esta cookie no podremos guardar tus preferencias. Esto significa que cada vez que visites esta web tendrás que activar o desactivar las cookies de nuevo.

Cookies de terceros

Esta web utiliza Google Analytics para recopilar información anónima tal como el número de visitantes del sitio, o las páginas más populares.

Dejar esta cookie activa nos permite mejorar nuestra web.

¡Por favor, activa primero las cookies estrictamente necesarias para que podamos guardar tus preferencias!