El rastreo y la indexación son los dos pasos del funcionamiento de un motor de búsqueda. A continuación explicaremos cada uno de ellos.
Rastreo
Los motores de búsqueda recorren la web realizando el rastreo con, tal cual lo llaman ellos, bots. Estos recorren las páginas a través de los enlaces, y es por esta razón que es de vital importancia gozar de una buena estructura de enlaces. Al igual que haría cualquier usuario al navegar por el contenido de la Web, se encargan de pasar de un enlace a otro y recopilan datos sobre esas páginas web que proporcionan a sus servidores.
El proceso de rastreo comienza con una lista de direcciones web de rastreos anteriores y de sitemaps proporcionada por otras páginas web. Una vez acceden a estas web, los bots buscan enlaces a otras páginas para poder visitarlas. Los bots buscan especialmente sitios nuevos y a los cambios en las web existentes.
Son estos bots los que deciden qué páginas visitar, con qué frecuencia y cuánto tiempo van a rastrear esa web. Es por esta razón que es importante tener un tiempo de carga óptimo y un contenido actualizado.
Es muy habitual que en los sitios web se necesita restringir el rastreo de algunas páginas o de cierto contenido para evitar que estas aparezcan en los resultados de búsqueda. Para esto se le puede decir a los bots de los motores de búsqueda que no rastreen ciertas páginas.
Indexación
Una vez ya rastreada una web y ya recopilada la información necesaria por parte de los bots, son incluidas en un índice. Ahí se ordenan según su contenido, su autoridad y su relevancia. De esta forma, cuando se realiza una consulta, al motor de búsqueda le resultará mucho más fácil mostrarnos los resultados que están más relacionados con nuestra consulta.
En un principio, los motores de búsqueda se basaban en el número de veces que se repetía una palabra. Al hacer una búsqueda rastreaban en su índice esos términos para encontrar qué páginas los tenían en sus textos, posicionando mejor la que más veces lo tenía repetido. Actualmente basan sus índices en cientos de aspectos diferentes. La fecha de publicación, si contienen imágenes, vídeos o animaciones, microformatos, etc. son algunos de esos aspectos. Ahora dan más prioridad a la calidad del contenido y no tanto a las cantidad de veces que se repite una palabra.
Una vez ya finalizado el rastreo y la indexación, se le da lugar al algoritmo algoritmo: estos son los procesos informáticos que deciden cuales son las páginas que deben aparecer antes o después en los resultados de búsqueda. Los algoritmos revisan en los índices y así saben cuáles son las páginas más relevantes teniendo en cuenta los cientos de factores de posicionamiento.