Como crear el Robots.txt perfecto para WordPress

Como crear el Robots.txt perfecto para WordPress

Te traigo el robots.txt perfecto para WordPress. Ya sabes que soy fan de WordPress y de vez en cuando te pongo truquillos para optimizarlo. En este caso el truco no es mío y para mas Inri es algo antiguo, pero sin embargo sigue estando de plena actualidad, ya que yo al menos no he encontrado nada mejor a día de hoy.

¿Qué es el archivo Robots.txt?

Este es un archivo que ofrece información para los robots (crawlers, spiders, etc) de los buscadores, sobre las páginas que se quieren indexar o rastrear en los motores de búsqueda. Puedes encontrar esta página accediendo a la siguiente dirección: http://www.tudominio.com/robots.txt

Definicion de Robot WWW

Un robot WWW es un programa que recorre periódicamente la estructura de Internet en busca de nuevos contenidos. La forma de operar de estos programas, por lo general, es recuperando un documento raíz y de manera recurrente recorrer todos los documentos a los que éste hace referencia. El orden en que estos programas hacen el recorrido por lo general es determinado después de hacer un análisis en base a varios parámetros, es decir, después de haber aplicado técnicas de heurística.

La siguiente imagen muestra cómo es que funciona este archivo:

Robots.txt

En el blog de Armonth, SigT.net nos ayudan a mejorar nuestro espacio de comunicación. Han elaborado un fichero robots.txt con el que mejorar la visibilidad del blog y, de paso, evitar contenido duplicado en los buscadores. Yo lo he aplicado tal cual, pues es un robots.txt listo para copiar y pegar, tiene los comentarios de Armonth por si quieres adaptarlo.

(más…)

Google evoluciona a GoogleBot

Google le ha puesto las pilas a su crawler “GoogleBot”, que está comenzando a rastrear los sites a mucha mayor velocidad y con más profundidad que nunca, lo que ha desatado todo tipo de rumores. En diversos foros de Internet se está hablando de ello. Google ha incrementado sustancialmente la potencia de su motor “GoogleBot”, especializado en rastrear páginas.

De hecho y según parece en algunos casos el exceso de celo de GoogleBot ha conseguido incluso tumbar durante su exploración las webs que recorre.

(más…)