Google Feedfetcher, el Crawler de Google que pasa por alto Robots.txt

Google Feedfetcher es uno de los robots pasivos de Google, ya que se dedica a espiar la Información requerida por usuarios, a diferencia del Googlebot que se encarga de revisar todos los apartados de la web ingresando hasta a los lugares en los que no debería ingresar.

Este crawler lo que realiza es básicamente revisar las cosas que los usuarios deciden ingresar a las diversas herramientas de Google (como Google Reader, Google Personalized Homepage y similares) y entregar luego la información a las herramientas de Google que trabajan en base a Feeds de Sindicación.

Continuar Leyendo »

Condiciones de Uso | Política de Privacidad | Publicidad | Acerca de | Contacto | Administración