Qué es el rastreo (crawling) y por qué Google no indexa tu web

Qué es el rastreo y en qué se diferencia de la indexación

El rastreo (crawling) es el proceso por el que Googlebot visita una página y descarga su contenido. La indexación es el paso posterior: Google analiza ese contenido y decide si lo guarda en su índice para poder mostrarlo en los resultados de búsqueda. Son dos procesos distintos y es habitual confundirlos: una página puede rastrearse sin llegar nunca a indexarse, y también puede ocurrir al revés en casos concretos, como explica la documentación oficial de Google.

Cómo descubre Googlebot tus páginas

Googlebot encuentra la mayoría de las URLs nuevas siguiendo enlaces desde páginas que ya ha rastreado antes, además de a través de los sitemaps que le indiques. Existen dos versiones principales del rastreador —una orientada a la versión móvil de una página y otra a la versión de escritorio—, y Google usa sobre todo la versión móvil para la mayoría de los sitios. El rastreador respeta ciertos límites técnicos: por ejemplo, solo procesa los primeros 2 MB de un archivo HTML, así que un documento excesivamente pesado puede quedar incompleto para Google, aunque se vea bien en el navegador.

Qué es el presupuesto de rastreo (crawl budget)

El presupuesto de rastreo es, en términos sencillos, cuántas páginas de tu sitio está dispuesto a rastrear Googlebot en un periodo de tiempo. Para la inmensa mayoría de webs pequeñas o medianas esto no es un problema real: Google suele rastrear todo lo que necesita sin dificultad. Se vuelve relevante sobre todo en sitios muy grandes, con miles o millones de URLs, donde sí puede compensar priorizar qué páginas merece la pena que Google rastree primero. Si un sitio nota que Google está rastreando con demasiada frecuencia y afectando al rendimiento del servidor, Search Console permite solicitar una reducción de esa frecuencia.

Rastreo bloqueado vs. no indexado: la confusión más habitual

Aquí está uno de los malentendidos más comunes en SEO técnico: bloquear una página en robots.txt impide que Googlebot la rastree, pero no garantiza que esa URL desaparezca de los resultados de búsqueda. Si otras páginas enlazan a esa URL, Google puede seguir mostrándola en el buscador —normalmente sin descripción, porque no ha podido leer el contenido—, simplemente porque sabe que existe por los enlaces que apuntan a ella. Para impedir de verdad que una página aparezca en los resultados, la herramienta correcta es la etiqueta noindex, no el bloqueo por robots.txt. Y para que Google vea esa etiqueta noindex, la página necesita poder ser rastreada; si el robots.txt la bloquea, Google nunca llega a leer el noindex.

Las causas más comunes por las que Google no indexa una página

• Una etiqueta noindex añadida por error, a veces heredada de una plantilla o de un entorno de pruebas que se publicó sin revisar.
• Bloqueo accidental en robots.txt de carpetas o patrones de URL que sí deberían rastrearse.
• Contenido duplicado con otra URL del propio sitio, donde Google decide indexar solo una versión como canónica.
• Enlazado interno insuficiente: una página huérfana, sin enlaces desde el resto del sitio, es mucho más difícil de descubrir para Googlebot.
• Errores de servidor o tiempos de respuesta muy altos en el momento del rastreo, que hacen que Google lo intente más tarde o reduzca la frecuencia.
• Contenido de bajo valor a ojos de los sistemas de calidad de Google, que puede rastrearse pero no considerarse merecedor de indexación.

Cómo comprobar el estado de rastreo e indexación de tu web

La herramienta de Inspección de URLs de Search Console indica, para cualquier URL de tu propiedad, si está indexada, cuándo fue la última vez que Google la rastreó, y si detecta algún problema concreto que lo esté impidiendo. Es el primer sitio al que conviene mirar antes de suponer una causa: da una respuesta directa de Google, en lugar de una conjetura.