Como crear el Robots.txt perfecto para WordPress

Te traigo el robots.txt perfecto para WordPress. Ya sabes que soy fan de WordPress y de vez en cuando te pongo truquillos para optimizarlo. En este caso el truco no es mío y para mas Inri es algo antiguo, pero sin embargo sigue estando de plena actualidad, ya que yo al menos no he encontrado nada mejor a día de hoy.

¿Qué es el archivo Robots.txt?

Este es un archivo que ofrece información para los robots (crawlers, spiders, etc) de los buscadores, sobre las páginas que se quieren indexar o rastrear en los motores de búsqueda. Puedes encontrar esta página accediendo a la siguiente dirección: http://www.tudominio.com/robots.txt

Definicion de Robot WWW

Un robot WWW es un programa que recorre periódicamente la estructura de Internet en busca de nuevos contenidos. La forma de operar de estos programas, por lo general, es recuperando un documento raíz y de manera recurrente recorrer todos los documentos a los que éste hace referencia. El orden en que estos programas hacen el recorrido por lo general es determinado después de hacer un análisis en base a varios parámetros, es decir, después de haber aplicado técnicas de heurística.

La siguiente imagen muestra cómo es que funciona este archivo:

Robots.txt

En el blog de Armonth, SigT.net nos ayudan a mejorar nuestro espacio de comunicación. Han elaborado un fichero robots.txt con el que mejorar la visibilidad del blog y, de paso, evitar contenido duplicado en los buscadores. Yo lo he aplicado tal cual, pues es un robots.txt listo para copiar y pegar, tiene los comentarios de Armonth por si quieres adaptarlo.

Haz un archivo llamado robots.txt y ponlo en el root publico de tu sitio con este contenido. Acuérdate de editar la url de tu sitemap.

Libro gratuito “Cómo los profesionales del marketing generan MILES DE VISITAS ONLINE”

x