Cómo volver a enviar un archivo Robots.txt actualizado o nuevo

robots txt

Nuestra agencia maneja consultoría de búsqueda orgánica para varios proveedores de SaaS en la industria. Un cliente con el que comenzamos a trabajar recientemente había realizado una práctica bastante estándar, colocando su aplicación en un subdominio y moviendo su sitio de folletos al dominio principal. Esta es una práctica estándar, ya que permite tanto a su equipo de producción como a su equipo de marketing realizar actualizaciones según sea necesario sin depender del otro.

Como primer paso en el análisis de su salud de búsqueda orgánica, registramos tanto el folleto como los dominios de la aplicación en Webmasters. Fue entonces cuando identificamos un problema inmediato. Todas las páginas de la aplicación estaban bloqueadas para que no fueran indexadas por los motores de búsqueda. Navegamos a su entrada de robots.txt en Webmasters e identificamos instantáneamente el problema.

Mientras se preparaba para la migración, su equipo de desarrollo no quería que el subdominio de la aplicación fuera indexado por búsqueda, por lo que no permitieron el acceso a los motores de búsqueda. El archivo robots.txt es un archivo que se encuentra en la raíz de su sitio: tudominio.com/robots.txt - que le permite al motor de búsqueda saber si debe o no rastrear el sitio. Puede escribir reglas para permitir o no la indexación en todo el sitio o en rutas específicas. También puede agregar una línea para especificar su archivo de mapa del sitio.

La robots.txt El archivo tenía la siguiente entrada que impedía que el sitio se rastreara e indexara en las clasificaciones de resultados de búsqueda:

User-Agent: * Disallow: /

Debería haberse escrito de la siguiente manera:

Usuario-agente: * Permitir: /

Este último otorga permiso a cualquier motor de búsqueda que rastree el sitio para que pueda acceder a cualquier directorio o archivo dentro del sitio.

Genial ... así que ahora que robots.txt El archivo es perfecto, pero ¿cómo lo sabe Google y cuándo volverán a consultar el sitio? Bueno, puedes solicitar absolutamente que Google revise tu archivo robots.txt, pero no es demasiado intuitivo.

Navegue hasta la Consola de búsqueda de Google Consola de búsqueda hasta el Rastrear> Probador de robots.txt. Verá el contenido del archivo robots.txt rastreado más recientemente dentro del Tester. Si desea volver a enviar su archivo robots.txt, haga clic en Enviar y aparecerá una ventana emergente con algunas opciones.

reenviar robots.txt

La última opción es Pide a Google que actualice. Haga clic en el botón azul Enviar junto a esa opción y luego vuelva a la Rastrear> Probador de robots.txt opción de menú para recargar la página. Ahora debería ver el archivo robots.txt actualizado junto con una marca de fecha que muestra que fue rastreado nuevamente.

Si no ve una versión actualizada, puede hacer clic en enviar y seleccionar Ver versión cargada para navegar hasta su archivo robots.txt real. Muchos sistemas almacenarán en caché este archivo. De hecho, IIS genera este archivo dinámicamente basándose en reglas ingresadas a través de su interfaz de usuario. Lo más probable es que tengas que actualizar las reglas y actualizar la caché para publicar un nuevo archivo robots.txt.

probador-robots-txt

¿Qué piensas?

Este sitio usa Akismet para reducir el correo no deseado. Descubra cómo se procesan los datos de sus comentarios.