Explicamos el aviso de «el archivo robots.txt ha bloqueado la URL», qué implicaciones tiene para el posicionamiento de tu proyecto y diferentes soluciones.
El robots.txt es un archivo que indica a los bots a qué contenidos de tu web tienen acceso.
Este aviso se produce cuando Google ha descubierto la URL pero está bloqueada por el robot.txt y no la ha indexado.
Importante:
Una URL bloqueada en robots.txt puede estar o no indexada.
En la mayoría de los casos las URL bloqueadas no aparecen en el índice del buscador, aunque Google puede indexarla si la considera relevante.
Las URL bloqueadas en robots.txt, aunque indexen, no pueden conseguir un buen posicionamiento ya que el bloqueo impide a Google conocer su contenido.
Gravedad de este aviso:
¿Necesitas mejorar el posicionamiento de tu negocio?
Agenda una reunión con uno de nuestros consultores para ver si podemos ayudarte a mejorar el posicionamiento de tu negocio.
Si la URL bloqueada es relevante a nivel SEO, elimina el bloqueo en robots.txt y permite su indexación.
En caso de contenidos que no quieres que aparezcan en el buscador, utiliza un noindex sin bloquear en robots.txt esa URL.
Robots.txt no es una herramienta para controlar la indexación de un proyecto. Sirve para gestionar el rastreo.
Si has detectado problemas de presupuesto de rastreo, puede ser necesario bloquear en robots.txt ciertas partes de la web. Antes de hacer esto, asegúrate que existe un problema real con el rastreo del proyecto y que esa es la mejor solución. Por norma general, los proyectos pequeños no deberían necesitar incluir reglas en robots.txt para gestionar el rastreo.
Puedes probar la URL publicada a través de Search Console para obtener más información sobre este problema
