Quobit

Cultura Digital, Tutoriales, tecnología y gadgets

Este es el mejor robots.txt para mejorar tu SEO en WordPress

google spider

google spider

Mejorar el posicionamiento orgánico en buscadores de tu sitio es una tarea que suena muy complicada, pero después de mucho investigar y leer, queremos compartirte el siguiente archivo robots.txt que esta basado en el en el proyecto WPHardening, el cuál tiene como finalidad fortalecer WordPress en varios aspectos, como la seguridad.

El archivo robots.txt tiene como finalidad facilitar el camino que los robots / arañas que indexan tu sitio web y también bloquear el acceso a las mismas en aquellos espacios que no deseas que indexen o muestren en los resultados de búsqueda.

El bloqueo funciona principalmente para cuando llegas a publicar información privada y deseas evitar que aparezca en los resultados de búsqueda de Google y otros buscadores.

Si bien no es posible modificar el archivo robots.txt de manera manual. Es necesario que instales un plugin que te permita hacer esta acción.

¿Cómo modificar el robots.txt en WordPress?

El plugin que puedo recomendarte es el de Yoast SEO, aunque existen otros plugin’s como Robots.txt Editor que te permitirán hacer esta acción.

El motivo por el que recomiendo utilizar Yoast SEO es por que también te permite trabajar en otros aspectos del SEO de tu sitio web.

Ahora sí, veamos como editar tu robots.txt en Yoast SEO.

Solo ingresa al menú lateral derecho en la opción de SEO, posteriormente da clic en el menú de herramientas y por último en la opción «Editor de Archivos»

Yoast SEO

¿Cuál es el mejor archivo robots.txt para WordPress?

Ahora sí, el mejor archivo robots.txt que encontramos puede servirte para indexar tu sitio web o blog con wordpress es el siguiente ejemplo:

Sitemap: [AQUÍ VA LA URL DE TU SITEMAP.XML]

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /search
Disallow: /archives/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback/

# No indexar copias de seguridad
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.gz$
Disallow: /*.tar$
Disallow: /*.svn$

# Reglas para bots conocidos

User-agent: Googlebot

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /