Como crear el Robots.txt perfecto para WordPress

Como crear el Robots.txt perfecto para WordPress

Os traigo el robots.txt perfecto para WordPress. Ya sabéis que soy fan de WordPress y de vez en cuando os pongo truquillos para optimizarlo. En este caso el truco no es mío y para mas Inri es algo antiguo, pero sin embargo sigue estando de plena actualidad, ya que yo al menos no he encontrado nada mejor a día de hoy.

En el blog de Armonth, SigT.net nos ayudan a mejorar nuestro espacio de comunicación. Han elaborado un fichero robots.txt con el que mejorar la visibilidad del blog y, de paso, evitar contenido duplicado en los buscadores. Yo lo he aplicado tal cual, pues es un robots.txt listo para copiar y pegar, tiene los comentarios de Armonth por si queréis adaptarlo.

(más…)

Google evoluciona a GoogleBot

Google le ha puesto las pilas a su crawler “GoogleBot”, que está comenzando a rastrear los sites a mucha mayor velocidad y con más profundidad que nunca, lo que ha desatado todo tipo de rumores. En diversos foros de Internet se está hablando de ello. Google ha incrementado sustancialmente la potencia de su motor “GoogleBot”, especializado en rastrear páginas.

De hecho y según parece en algunos casos el exceso de celo de GoogleBot ha conseguido incluso tumbar durante su exploración las webs que recorre.

(más…)