Concepto de Etiqueta Robots

¿Qué es la Etiqueta Robots?

También conocida como etiqueta Meta Robots, la Etiqueta Robots es un elemento que se utiliza con el propósito de mostrar a los buscadores de Internet las acciones que pueden realizar en nuestras páginas web. 

En general, la etiqueta robots es utilizada para dar cualquier tipo de directriz a los buscadores e indicarles lo que tienen que hacer, aunque se usa principalmente para indicar a los bots que una página no sea indexada ni posicionada en los resultados de búsqueda.

Se aconseja ser muy cuidadosos al usar este elemento, ya que al activarla los bots rastrearán la web y perderán tiempo de rastreo. Si se desea poner la página en modo no index/no follow, lo más recomendado es añadirla al archivo robots.txt, puesto que de esta forma los bots no perderán tiempo leyendo las cabeceras de la página. Así ahorrarás tiempo de rastreo (presupuesto de rastreo) y mejorarás tu posicionamiento.

Los Meta Robots son una etiqueta de tipo HTML que se ubica en la cabecera de una página, es decir, entre las etiquetas head. Algunos de los indicadores más utilizados son los siguientes:

  • Index/noindex. Sirve para indexar la página o no en los buscadores. Con esta etiqueta el robot aún seguiría rastreando la página y para evitar que lo haga se tendría que utilizar el archivo robots.txt.
  • Follow/nofollow. Se emplea para indicar a los bots que sigan o no al resto de la web a través de los enlaces que aparezcan en la página etiquetada. Esta etiqueta le dice al robot que no tiene que seguir los enlaces de la página indicada, lo que significa que Google no rastreará las páginas enlazadas por la página que contiene la meta robots nofollow.
  • Archive/noarchive. Suele ser usado para pasar o no a la caché del buscador.
  • Snippet/nosnippet. Es utilizado para mostrar o no la descripción de la web.
  • Odp/noodp. Se emplea con el propósito de mostrar o no el título y descripción de la página web.
  • Ydir/noydir. Tiene la misma función que la etiqueta robots odp/noodp, pero está diseñada específicamente para Yahoo.

El uso correcto de las etiquetas robots es importante para obtener un mejor nivel de posicionamiento en buscadores, así que será necesario conocerlas para poder elaborar un buen portal web.

¿Para qué sirve la Etiqueta Robots?

Aunque pueden tener distintos usos, su principal función es limitar las acciones de los robots de los buscadores cuando estos entran en un portal online. Es importante saber que, por defecto, los parámetros de los bots suelen ser lo más permisivos posible, así que al incluir la etiqueta robots se estarán imponiendo restricciones a los buscadores.  

De este modo, los meta robots permiten que el administrador del website pueda controlar la forma en que se debe indexar una página y la forma de mostrarla a los usuarios en el ranking de resultados de búsqueda.

El modo de utilizarlas es aplicando directivas negativas, esto debido a que los bots las entienden como positivas en caso de no indicar lo contrario. Recordemos que por defecto ya son interpretadas en positivo.

Ejemplos de Etiqueta Robots

En este campo podemos encontrar múltiples ejemplos de etiquetas robots, ya que todo dependerá de las restricciones y libertades que se desee imponer y dar a las arañas de buscadores como Google.

Para visualizarlo mejor presentaremos el siguiente ejemplo, ya que puede resultar  bastante ilustrativo. También podremos apreciar cómo queda una etiqueta meta robots cuando se construye:

<META name=”robots” content=”INDEX,NOARCHIVE”>.

Al aplicar este ejemplo se estaría indexando la página a los buscadores, pero no pasaría a la memoria caché de estos, en caso de que algún usuario quisiera entrar a una versión anterior a la accesible actualmente desde la red.

Al utilizar la etiqueta robots en nuestras páginas web, debemos asegurarnos de conocer las funciones de cada indicación, porque si por error colocamos una meta robots noindex en una página importante de la web, las consecuencias para el posicionamiento serán graves

Más información sobre la Etiqueta Robots

Si quieres conocer más sobre la etiqueta robots y sobre SEO, te brindamos los siguientes enlaces a estos interesantes posts, que pueden resultarte de mucha utilidad, ya que aprenderás más sobre este complemento orientado a buscadores.