Google Feedfetcher, el Crawler de Google que pasa por alto Robots.txt
Google Feedfetcher es uno de los robots pasivos de Google, ya que se dedica a espiar la Información requerida por usuarios, a diferencia del Googlebot que se encarga de revisar todos los apartados de la web ingresando hasta a los lugares en los que no debería ingresar.
Este crawler lo que realiza es básicamente revisar las cosas que los usuarios deciden ingresar a las diversas herramientas de Google (como Google Reader, Google Personalized Homepage y similares) y entregar luego la información a las herramientas de Google que trabajan en base a Feeds de Sindicación.
Muchas veces es confundido con el actual crawler web de Google, el Googlebot, y muchos usuarios luego se quejan de que no les es posible accesar a ciertas webs desde alguna de las herramientas de Google, y eso se puede deber evidentemente a que el administrador de dicha web ha bloqueado el acceso a este robot.
Por consideración con tus Usuarios, permítelo navegar tu web 
Vale demás decir, que si este Bot no tiene permitido el acceso a tu Blog/Web, no podrás utilizar Feedburner…
Más Información | Google Feedfetcher
- ¿Nuevo Dance de Google?
- Optimizando el Archivo Robots.txt para Wordpress 2.+
- ONU y Google aliados a favor de los Refugiados
- Compras realizadas por Google en la Historia
- Google Maps estará presente en las Gasolineras
- Google Webmasters permite localizar tu Web en el Globo
- ¿Se viene el G-Phone?
- Google también usa herramientas de productividad
Por favor, asegúrate de no escribir Comentarios difamatorios, racistas o similares. Haz un comentario acorde a la Temática y que colabore en la Discusión.
Los comentarios que contengan enlaces de referidos, mensajes engañosos o datos personales serán eliminados y el acceso de la persona que los redactó será cerrado a poder publicar nuevos comentarios.
Este Sitio muestra pequeñas imágenes al lado de Cada comentarista mediante el Servicio Gravatar. Regístrate en este Servicio para mostrar la tuya!
23 de Enero del 2008 a las 11:50 AM
No tenía ni idea sobre este crawler, siempre es bueno saber cosas así que después modifica uno y termina metiendo la pata hasta el fondo.
Saludos avinagrados.
21 de Febrero del 2008 a las 5:02 PM
Parece que no es muy estable y ya ha el pasado noviembre los usuarios de FeedBurner tuvimos un susto:
Sunday Suscriber Count Drop
Hoy ha ocurrido lo mismo, Feedburner no cuenta los suscriptores vía google feedfetcher.
Un saludo y enhorabuena por el blog
21 de Febrero del 2008 a las 7:46 PM
Muchas Gracias Ceslava… Bienvenido a MarlexSystems.
Y lo de Feedburner, no es la primera vez que sucede, ten en cuenta que quizás es complicado contabilizar los lectores ya que cada día alguien desarrolla nuevas herramientas para leer o trabajar feeds y, por ende, Feedburner tiene trabajo ahí.
Un Saludo!