Archivo robots.txt: guía completa para su mejora【Guía】

---

Uno de los elementos fundamentales para lograr un buen posicionamiento es el archivo robots.txt. En esta guía completa, te explicaremos qué es el archivo robots.txt, cómo crearlo en WordPress y cómo sacarle el máximo provecho para mejorar tu presencia en los motores de búsqueda.

---

Guía Completa sobre el Archivo Robots.txt en WordPress

TABLA DE CONTENIDOS

• Qué es el archivo robots.txt y para qué sirve
• Cómo crear el archivo robots.txt
• Cómo indicar a Google que he creado el archivo robots.txt
• Cómo es el archivo robots.txt que crea por defecto WordPress
• Parámetros a usar en el archivo robots.txt
• ¿Necesitas un archivo robots.txt?

---

Qué es el archivo robots.txt y para qué sirve

Antes de sumergirnos en los detalles, es importante comprender qué es exactamente el archivo robots.txt y cuál es su propósito. Este archivo es como un "guardián" de tu sitio web que informa a los motores de búsqueda, como Googlebot, qué páginas o secciones pueden o no pueden rastrear e indexar en tu sitio web y cuáles debe ignorar. Es una herramienta esencial para controlar la visibilidad de tu contenido en los resultados de búsqueda.

El archivo robots.txt te ayuda a:

• Evitar Contenido Irrelevante o Sensible:Imagina que tienes secciones de tu sitio web que contienen información irrelevante o sensible que no deseas que aparezca en los resultados de búsqueda. El archivo robots.txt te permite bloquear el acceso a esas páginas, manteniéndolas fuera del alcance de los motores de búsqueda.
• Priorizar Contenido Importante: Por otro lado, es posible que tengas contenido valioso, como tus publicaciones de blog o páginas de productos, que deseas que los motores de búsqueda indexen con prioridad. El archivo robots.txt te permite guiar a los rastreadores hacia estas páginas para mejorar su visibilidad.
• Optimizar Recursos: Si tu sitio web contiene recursos pesados, como imágenes de alta resolución o archivos PDF, puedes evitar que los motores de búsqueda gasten recursos valiosos rastreándolos. Esto puede ayudar a acelerar la indexación de las páginas más importantes y mejorar la experiencia del usuario.
• Proteger la Privacidad: Si tienes áreas privadas en tu sitio web, como páginas de inicio de sesión o datos de usuarios, el archivo robots.txt te permite evitar que los motores de búsqueda accedan a esta información sensible.
• Control de la Carga del Servidor: Reducir la carga del servidor es crucial para garantizar que tu sitio web funcione sin problemas. Al dirigir a los rastreadores hacia áreas específicas de tu sitio, puedes evitar que agoten los recursos del servidor.

Al utilizarlo de manera inteligente, puedes influir en la forma en que los motores de búsqueda interpretan y clasifican tu contenido, lo que, a su vez, puede tener un impacto directo en tu posicionamiento en los resultados de búsqueda.

Cómo crear el archivo robots.txt

Si quieres comprobar si tu página web cuenta con archivo robots.txt, lo único que tendrás que hacer será poner en la barra del navegador tu dominio /robots.txt. En muchos casos te darás cuenta que tu web no cuenta con este archivo tan importante (es un error SEO bastante común, así que no desesperes). Por suerte, la creación del archivo robots.txt, aunque es un paso crucial en la optimización de tu sitio web, es algo relativamente sencillo. Sobre todo si usas WordPress donde plugins como Yoast SEO o All in One SEO ya te crean este importante archivo.

Si prefieres crearlo de forma manual, también es un proceso fácil. Será la opción más recomendada si no vas a usar un plugin de SEO, porque instalarlo solo para la creación del archivo robots.txt no es recomendable. Aquí te explicamos cómo hacerlo:

1. Accede a la raíz de tu sitio web mediante un cliente FTP o a través del panel de control de tu hosting.
2. Crea un archivo de texto vacío y nómbralo "robots.txt".
3. Abre el archivo con un editor de texto y comienza a definir las reglas para los motores de búsqueda (luego veremos qué reglas debería contener).

En caso de que vayas a usar un plugin como Yoast SEO, debes saber que este incorpora una opción para crear el archivo robots.txt sin tener que hacerlo tú de forma manual. Para ello, en la configuración del plugin, vete a Herramientas, luego Editor de archivos y ahí verás la opción Crear robots.txt. Te creará un archivo con lo mínimo viable, que tú puedes editar para añadirle más reglas y optimizarlo.

Cómo indicar a Google que has creado el archivo robots.txt

Una vez que hayas creado el archivo robots.txt, es importante informar a Google y otros motores de búsqueda, como Bing o Yandex sobre su existencia. Para ello, sigue estos pasos:

1. Accede a Google Search Console. Si no tienes agregada tu web, deberás hacerlo y verificar la propiedad. En nuestro Blog te enseñamos paso a paso a verificar un dominio en Search Console a través de esta guía detallada. Si lo prefieres puedes seguir los pasos conforme te enseñamos en este videotutorial que encontrarás en nuestro canal de Youtube.
   
   
2. En la sección "Rastreo", utiliza la herramienta de prueba de robots.txt para verificar que no hay errores en tu archivo.
3. Si todo está correcto, puedes solicitar que Google rastree y procese el archivo robots.txt de tu sitio.

Cómo es el archivo robots.txt que crea por defecto WordPress

WordPress es una de las plataformas más populares para la creación de sitios web, y por defecto, genera un archivo robots.txt básico. Este archivo suele contener reglas para permitir que los motores de búsqueda rastreen la mayoría de las partes del sitio, pero siempre es personalizable según tus necesidades específicas.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Vamos a desglosar qué significa cada línea:

• User-agent: *: El asterisco () en "User-agent" significa que estas reglas se aplican a todos los rastreadores de motores de búsqueda. En otras palabras, cualquier motor de búsqueda que visite tu sitio debe seguir estas reglas.
• Disallow: /wp-admin/: Esta línea indica que se debe evitar el rastreo de todas las páginas ubicadas en la carpeta "wp-admin" de tu sitio web. Esto es esencial para proteger el área de administración de WordPress, ya que contiene funciones sensibles como el panel de control y la configuración del sitio.
• Allow: /wp-admin/admin-ajax.php: Sin embargo, esta línea permite que los motores de búsqueda accedan al archivo "admin-ajax.php" dentro de la carpeta "wp-admin". Este archivo es crucial para el funcionamiento de algunas características de WordPress, por lo que se permite su acceso.

Aunque el archivo robots.txt predeterminado de WordPress proporciona una base sólida, es importante personalizarlo según las necesidades específicas de tu web. Puedes hacerlo utilizando plugins de SEO o editando directamente el archivo en tu servidor.

Algunas personalizaciones comunes incluyen:

• Permitir el acceso a carpetas de temas y plugins personalizados: Si tienes temas y plugins personalizados, es posible que desees permitir que los motores de búsqueda los rastreen.
• Excluir ciertos tipos de contenido: Si tienes contenido en tu sitio que no deseas que aparezca en los resultados de búsqueda, como páginas de agradecimiento después de completar formularios, puedes agregar reglas para bloquear esas URL específicas.
• Evitar el rastreo de recursos innecesarios: Si tienes recursos pesados, como archivos PDF o imágenes que no deseas que se indexen, puedes agregar reglas para bloquear esas extensiones de archivo.

Recuerda que cualquier modificación que realices en el archivo robots.txt debe hacerse con precaución, ya que algunos errores pueden llevar a problemas de indexación en motores de búsqueda. Si no estás seguro de cómo personalizar tu archivo robots.txt, considera consultar con un experto en SEO o utilizar plugins de SEO confiables que simplifiquen este proceso.

Parámetros a usar en el archivo robots.txt

A la hora de enfrentarte a un archivo robots.txt, es importante que te fijes en ciertos parámetros que se van a repetir. Debes tener en cuenta además que es un archivo donde debes respetar las mayúsculas y minúsculas y los espacios.

User-agent

El "User-agent" te permite especificar a qué motor de búsqueda o agente de usuario se aplican las reglas. Por ejemplo, puedes dirigirte a Googlebot o a otros motores de búsqueda específicos.

Asterisco (*)

El asterisco (*) es un comodín que se usa para aplicar una regla a todos los motores de búsqueda o agentes de usuario.

Símbolo del dólar ($)

El símbolo del dólar ($) se utiliza para indicar el final de una URL. Esto puede ser útil para bloquear ciertas extensiones de archivos o directorios específicos. Imagina que quieres bloquear el rastreo de todos los archivos que terminan .pdf. Tendrías que crear una regla disallow e indicar /*.pdf$

Ojo porque estarás bloqueando solo a los que terminan en .pdf, si continúa después de pdf, ese archivo sí sería rastreado.

Noindex y nofollow

Estas directivas se utilizan para indicar a los motores de búsqueda que no indexen una página ("noindex") o que no sigan los enlaces en una página ("nofollow"). No obstante se trata de dos directivas que es mejor usarlas en la etiqueta meta robots, que no hay que confundir con el archivo robots.txt.

Disallow

La directiva "Disallow" se usa para especificar qué partes de tu sitio web no deben ser rastreadas por los motores de búsqueda. Puedes bloquear directorios enteros o páginas individuales. Del mismo modo, la directiva “Allow” se usa para permitir el acceso a partes específicas de una web, bloqueadas previamente por un disallow.

¿Necesitas un archivo robots.txt?

La respuesta es sí, definitivamente. Si deseas tener control sobre cómo se indexa tu sitio web en los motores de búsqueda y evitar que ciertas páginas sean indexadas, el archivo robots.txt es esencial. Sin él, estarías dejando que los motores de búsqueda tomen decisiones por ti.

Ahora que conoces los fundamentos del archivo robots.txt y cómo crearlo, estás un paso más cerca de optimizar tu sitio web para el SEO y mejorar tu posicionamiento en Google y otros motores de búsqueda. No subestimes el poder de este pequeño archivo en tu estrategia de SEO.

Conclusión

En resumen, el archivo robots.txt es una herramienta poderosa para controlar qué contenido se muestra en los resultados de búsqueda. Aprende a crear y personalizar este archivo de acuerdo a tus necesidades para aprovechar al máximo el potencial de tu sitio web en términos de SEO.