Seleccionar página

El crawler de Google , crawlear una web, crawling… es la forma de procesar, recoger y unificar toda la información de una web por las diferentes páginas o URLs para poder clasificarla.

El crawler de Google rastrea por defecto todo tu sitio web y, esto hay que tenerlo en cuenta ya que hay ciertas páginas que, aunque debemos tenerlas en nuestra web, no tienen porqué aparecer en los resultados de búsqueda.

Son todas aquellas que no aportan información de valor como por ejemplo:

  • Los textos legales
  • La página de contacto
  • Quiénes somos o soy…

Qué es el presupuesto de crawleo de Google

Conocido también como Crawl Budget, es el tiempo que tienen las arañas de Google para cada web, por lo que ahora entenderás la importancia que tiene que solo entre en aquellas páginas que queramos posicionar.

Sin perder el tiempo en contenido nada relevante como el mencionado más arriba entre otros.

También se puede bloquear accesos desde el archivo robots.txt y también desindexar directamente con los plugin Yoast SEO, Rank Math o All in One SEO.

Piensa que el día tiene 24 h y hay millones de webs en Internet, por lo que Google es muy selectivo y no se anda con tonterías, si entra en tu web y encuentra thin content (contenido de baja calidad), se larga cagando leches.

He oído en alguna ocasión aunque no lo puedo asegurar, que el tiempo máximo de crawleo que tiene para una web es de unos “15 minutos”.

Por lo que este tiempo se convierte en oro puro y solo debe entrar y dar con contenido valioso, es decisivo indexar solo el contenido de valor para que aparezca en su base de datos.

El crawler de Google y Search Console para la indexación

Desde Search Console se puede conocer qué ha rastreado el GoogleBot y qué hay indexado en sus bases de datos, y gracias a la inspección de URL podemos ver si está indexada y publicada o forzar su indexación, también nos muestra:

  • La usabilidad móvil.
  • Las estadísticas de rastreo.
  • Errores en la URL rastreada.
  • Posición media.
  • Impresiones y clics totales.
  • Palabras clave.
  • Probar URL publicada.
  • Sitemap…

Las arañas acceden y recorren las páginas de la web gracias al enlazado interno que es lo que las une para que las famosas arañis se den un garbeo y vayan a la caza de las páginas más relevantes.

Al crawler web se le conoce por diferentes términos:

  • Arañas
  • Spiders
  • Bots
  • Rastreator 🐶
  • Robots
  • GoogleBot (siendo este especificamente el nombre para el crawler de Google).

¿A dónde voy con esto? Que este último es el que más peso tiene en los SEOs, asi que ahora toca definir algunos subtipos de Googlebot tenemos:

  • Googlebot Video — para los vídeos, ahora tan de moda.
  • Googlebot Images — rastrea las imágenes.
  • Googlebot News — rastrea noticias.
  • Googlebot Smartphones — rastrea móviles
  • Googlebot desktop PC — para escritorio.

Existen más bots esto no se queda aquí, aquí tienes información complementaria para que bebas de la propia fuente.

Puedes acceder desde aquí al diccionario SEO.