El crawler de Google rastrea por defecto todo tu sitio web y, esto hay que tenerlo en cuenta, ya que hay ciertas páginas que, aunque debemos tenerlas en nuestra web, no tienen por qué aparecer en los resultados de búsqueda.
Son todas aquellas que no aportan información de valor, como por ejemplo:
Los textos legales, la página de contacto, quiénes somos o quién soy…
Qué es el presupuesto de crawleo de Google.
Conocido también como Crawl Budget, es el tiempo que tienen las arañas de Google para cada web, por lo que ahora entenderás la importancia que tiene que solo entre en aquellas páginas que queramos posicionar.
Sin perder el tiempo en contenido, nada relevante como el mencionado más arriba, entre otros.
También se puede bloquear accesos desde el archivo robots.txt y también desindexar directamente con los plugin Yoast SEO, Rank Math o All in One SEO.
Piensa que el día tiene 24 h y hay millones de webs en Internet, por lo que Google es muy selectivo y no se anda con tonterías, si entra en tu web y encuentra thin content (contenido de baja calidad), se larga cagando leches.
He oído en alguna ocasión, aunque no lo puedo asegurar, que el tiempo máximo de crawleo que tiene para una web es de unos «15 minutos».
Por lo que este tiempo se convierte en oro puro y solo debe entrar y dar con contenido valioso, es decisivo indexar solo el contenido de valor para que aparezca en su base de datos.
El crawler de Google y Search Console para la indexación.
Desde Search Console se puede conocer qué ha rastreado el GoogleBot y qué hay indexado en sus bases de datos, y gracias a la inspección de URL podemos ver si está indexada y publicada o forzar su indexación, también nos muestra:
La usabilidad móvil, las estadísticas de rastreo, errores en la URL rastreada, posición media, impresiones, clics totales, palabras clave, probar URL publicada, mapa del sitio…
Las arañas acceden y recorren las páginas de la web gracias al enlazado interno que es lo que las une para que las famosas arañis se den un garbeo y vayan a la caza de las páginas más relevantes.
Al crawler web se le conoce por diferentes términos: arañas, spiders, robots, rastreador…
GoogleBot (siendo este específicamente el nombre para el crawler de Google).
¿A dónde voy con esto? Que este último es el que más peso tiene en los SEOs, así que ahora toca definir algunos subtipos de Googlebot:
Googlebot desktop PC — para escritorio.
Googlebot Smartphones — rastrea móviles
Googlebot News — rastrea noticias.
Googlebot Images — rastrea las imágenes.
Googlebot Video — para los vídeos, ahora tan de moda.
Existen más bots, esto no se queda aquí, así que te dejo más información complementaria para que bebas de la propia fuente.
Puedes acceder desde aquí al diccionario SEO.
Para contactar conmigo, haz clic debajo.
Como especialista SEO: on-page, off-page y estratégico, diseño web y gráfico, me dedico a ayudar a mis clientes a mejorar su visibilidad en línea.
Estoy certificada por Google en YouTube Music, y estoy actualizada en las últimas tendencias de SEO.
Prompt Engineering. Experta en automatizaciones con la IA porque nos va a influir en nuestro futuro.
Además de mi pasión por el SEO y la IA, estoy certificada como Practitioner en PNL, el transgeneracional, la Khabalah, y en constelaciones familiares con mis amados Playmobil.
Gracias por llegar hasta aquí y leerme.
Pilu.