¿Cómo encuentran, rastrean e indexan los motores de búsqueda su contenido?

SEO

No suelo recomendar a los clientes que creen sus propios sistemas de gestión de contenido o comercio electrónico debido a todas las opciones de extensibilidad invisibles que se necesitan hoy en día, principalmente centradas en la búsqueda y la optimización social. Escribí un artículo sobre cómo seleccionar un CMS y todavía se lo muestro a las empresas con las que trabajo que están tentadas a crear su propio sistema de gestión de contenido.

Sin embargo, hay situaciones absolutamente en las que una plataforma personalizada es una necesidad. Sin embargo, cuando esa es la solución óptima, sigo presionando a mis clientes para que desarrollen las funciones necesarias para optimizar sus sitios para la búsqueda y las redes sociales. Básicamente, hay tres características clave que son una necesidad.

  • robots.txt
  • Mapa XML
  • metadatos

¿Qué es un archivo Robots.txt?

robots.txt archivo - el robots.txt El archivo es un archivo de texto sin formato que se encuentra en el directorio raíz del sitio y le dice a los motores de búsqueda qué deben incluir y excluir de los resultados de búsqueda. En los últimos años, los motores de búsqueda también solicitaron que incluyera la ruta a un mapa del sitio XML dentro del archivo. Aquí hay un ejemplo mío, que permite a todos los bots rastrear mi sitio y también los dirige a mi mapa del sitio XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

¿Qué es un mapa del sitio XML?

Mapa XML - Del mismo modo que HTML se puede ver en un navegador, XML se escribe para ser digerido mediante programación. Un mapa del sitio XML es básicamente una tabla de cada página de su sitio y cuándo se actualizó por última vez. Los mapas de sitio XML también se pueden conectar en cadena ... es decir, un mapa de sitio XML puede hacer referencia a otro. Eso es genial si desea organizar y desglosar los elementos de su sitio de manera lógica (preguntas frecuentes, páginas, productos, etc.) en sus propios mapas del sitio.

Los mapas del sitio son esenciales para que pueda informar eficazmente a los motores de búsqueda qué contenido ha creado y cuándo se editó por última vez. El proceso que usa un motor de búsqueda cuando va a su sitio no es efectivo sin implementar un mapa del sitio y fragmentos.

Sin un mapa del sitio XML, estás arriesgando tus páginas para que nunca sean descubiertas. ¿Qué sucede si tiene una página de destino de un producto nuevo que no está vinculada interna o externamente? ¿Cómo lo descubre Google? Bueno, en pocas palabras ... hasta que se encuentre un enlace a él, no lo descubrirán. Afortunadamente, los motores de búsqueda permiten que los sistemas de gestión de contenido y las plataformas de comercio electrónico les desplieguen una alfombra roja.

  1. Google descubre un enlace externo o interno a su sitio.
  2. Google indexa la página y la clasifica según su contenido y cuál es el contenido y la calidad del sitio del enlace de referencia.

Con un mapa del sitio XML, ¡no está dejando el descubrimiento de su contenido o la actualización de su contenido al azar! Demasiados desarrolladores intentan tomar atajos que también los perjudican. Publican el mismo fragmento enriquecido en todo el sitio, proporcionando información que no es relevante para la información de la página. Publican un mapa del sitio con las mismas fechas en cada página (o todos se actualizan cuando se actualiza una página), lo que genera colas para los motores de búsqueda de que están jugando con el sistema o no son confiables. O no hacen ping a los motores de búsqueda en absoluto ... por lo que el motor de búsqueda no se da cuenta de que se ha publicado nueva información.

¿Qué son los metadatos? Microdatos? ¿Fragmentos enriquecidos?

Los fragmentos enriquecidos son microdatos cuidadosamente etiquetados que está oculto para el espectador pero visible en la página para que lo utilicen los motores de búsqueda o los sitios de redes sociales. Esto se conoce como metadatos. Google se ajusta a Schema.org como estándar para incluir cosas como imágenes, títulos, descripciones ... así como una gran cantidad de otros fragmentos informativos como precio, cantidad, información de ubicación, calificaciones, etc. Schema mejorará significativamente la visibilidad de su motor de búsqueda y la probabilidad de que un usuario haga clic mediante.

Facebook usa el OpenGraph protocolo (por supuesto que no pueden ser iguales), Twitter incluso tiene un fragmento para especificar su perfil de Twitter. Cada vez más plataformas utilizan estos metadatos para obtener una vista previa de los enlaces incrustados y otra información cuando se publican.

Sus páginas web tienen un significado subyacente que las personas comprenden cuando las leen. Pero los motores de búsqueda tienen una comprensión limitada de lo que se discute en esas páginas. Si agrega etiquetas adicionales al HTML de sus páginas web (etiquetas que digan: "Oye, motor de búsqueda, esta información describe esta película, lugar, persona o video específico"), puede ayudar a los motores de búsqueda y otras aplicaciones a comprender mejor su contenido. y mostrarlo de una manera útil y relevante. Los microdatos son un conjunto de etiquetas, introducido con HTML5, que le permite hacer esto.

Schema.org, ¿Qué es MicroData?

Por supuesto, ninguno de estos es obligatorio ... pero los recomiendo encarecidamente. Cuando compartes un enlace en Facebook, por ejemplo, y no aparece ninguna imagen, título o descripción… pocas personas estarán interesadas y realmente harán clic. Y si sus fragmentos de esquema no están en cada página, por supuesto que aún puede aparecer en los resultados de búsqueda ... pero los competidores pueden ganarle cuando muestren información adicional.

Registre sus sitemaps XML con Search Console

Es imperativo que, si ha creado su propio contenido o plataforma de comercio electrónico, tenga un subsistema que haga ping a los motores de búsqueda, publique microdatos y luego proporcione un mapa del sitio XML válido para encontrar el contenido o la información del producto.

Una vez que su archivo robots.txt, mapas de sitio XML y fragmentos enriquecidos estén personalizados y optimizados en todo su sitio, no olvide registrarse en la Consola de búsqueda de cada motor de búsqueda (también conocida como herramienta para webmasters), donde puede monitorear el estado y la visibilidad de su sitio en los motores de búsqueda. Incluso puede especificar la ruta de su mapa del sitio si no aparece ninguno y ver cómo lo consume el motor de búsqueda, si hay algún problema con él o no, e incluso cómo corregirlo.

Extienda la alfombra roja a los motores de búsqueda y las redes sociales y encontrará que su sitio se clasifica mejor, sus entradas en las páginas de resultados del motor de búsqueda hicieron más clic y sus páginas se compartieron más en las redes sociales. ¡Todo suma!

Cómo funcionan juntos Robots.txt, sitemaps y metadatos

Combinar todos estos elementos es muy parecido a desplegar la alfombra roja de su sitio. Este es el proceso de rastreo que lleva a cabo un bot junto con la forma en que el motor de búsqueda indexa su contenido.

  1. Su sitio tiene un archivo robots.txt que también hace referencia a la ubicación de su mapa del sitio XML.
  2. Su CMS o sistema de comercio electrónico actualiza el mapa del sitio XML con cualquier página y publica la fecha o edita la información de la fecha.
  3. Su CMS o sistema de comercio electrónico hace ping a los motores de búsqueda para informarles que su sitio ha sido actualizado. Puede hacer ping directamente o usar RPC y un servicio como Ping-o-matic para impulsar a todos los motores de búsqueda clave.
  4. El motor de búsqueda regresa instantáneamente, respeta el archivo Robots.txt, encuentra páginas nuevas o actualizadas a través del mapa del sitio y luego indexa la página.
  5. Cuando indexa su página, utiliza microdatos de fragmentos enriquecidos para mejorar la página de resultados del motor de búsqueda.
  6. A medida que otros sitios relevantes enlazan con su contenido, su contenido se clasifica mejor.
  7. A medida que su contenido se comparte en las redes sociales, la rica información del fragmento especificada puede ayudarlo a obtener una vista previa adecuada de su contenido y dirigirlo a su perfil social.

2 Comentarios

  1. 1

¿Qué piensas?

Este sitio usa Akismet para reducir el correo no deseado. Descubra cómo se procesan los datos de sus comentarios.