La araña.
La araña
es un pequeño programa que recorre
toda la web siguiendo los
enlaces que vinculan unas páginas
con otras. La araña de Google se llama
Googlebot, y la de Yahoo! Se identifica como Slurp y la de Live Search como
MSNBOt. Su trabajo consiste en descargar copias de las páginas que se encuentran en el índice o catálogo, también conocido como Caché. Googlebot,
residen en muchos ordenadores que
acceden a miles de páginas web de
forma simultánea. En su funcionamiento
imula un navegador, de modo que
se puede seguir su rastreo en la sección
de información sobre navegadores del
archivo log(Registro de actividad) del servidor en un lugar de la sección que recogw las
visitas de reptantes. Donde sí quedan registradas las visitas de otras arañas.
Cada Buscador tiene periodos en los que
realiza rastreos de contenido
superficiales y rastreos de mayor profundidad. También están sujetos a un control de tiempo que impide que los servidores que están siendo rastreados se puedan saturar o
sobrecargar.
No hay comentarios:
Publicar un comentario