Google Feedfetcher, el Crawler de Google que pasa por alto Robots.txt
Google Feedfetcher es uno de los robots pasivos de Google, ya que se dedica a espiar la Información requerida por usuarios, a diferencia del Googlebot que se encarga de revisar todos los apartados de la web ingresando hasta a los lugares en los que no debería ingresar.
Este crawler lo que realiza es básicamente revisar las cosas que los usuarios deciden ingresar a las diversas herramientas de Google (como Google Reader, Google Personalized Homepage y similares) y entregar luego la información a las herramientas de Google que trabajan en base a Feeds de Sindicación.
Muchas veces es confundido con el actual crawler web de Google, el Googlebot, y muchos usuarios luego se quejan de que no les es posible accesar a ciertas webs desde alguna de las herramientas de Google, y eso se puede deber evidentemente a que el administrador de dicha web ha bloqueado el acceso a este robot.
Por consideración con tus Usuarios, permítelo navegar tu web 
Vale demás decir, que si este Bot no tiene permitido el acceso a tu Blog/Web, no podrás utilizar Feedburner…
Más Información | Google Feedfetcher
- Optimizando el Archivo Robots.txt para Wordpress 2.+
- Google ya cuenta con un billón de URLs indexadas
- Google ahora es capaz de leer enlaces con Javascript
- ¿Nuevo Dance de Google?
- Google comienza una campaña contra “la web infinita”
- Google Japón compra posts patrocinados para promocionarse
- ONU y Google aliados a favor de los Refugiados
- Cuidado con el uso del Logo de Google
Menéame
Enviar a Twitter
Enviar a Facebook
Delicious
Fresqui
Google Bookmarks
Technorati
Yahoo! My Web
23 de Enero del 2008 a las 11:50 AM (Responder ↓)
No tenía ni idea sobre este crawler, siempre es bueno saber cosas así que después modifica uno y termina metiendo la pata hasta el fondo.
Saludos avinagrados.
21 de Febrero del 2008 a las 5:02 PM (Responder ↓)
Parece que no es muy estable y ya ha el pasado noviembre los usuarios de FeedBurner tuvimos un susto:
Sunday Suscriber Count Drop
Hoy ha ocurrido lo mismo, Feedburner no cuenta los suscriptores vía google feedfetcher.
Un saludo y enhorabuena por el blog
21 de Febrero del 2008 a las 7:46 PM (Responder ↓)
Muchas Gracias Ceslava… Bienvenido a MarlexSystems.
Y lo de Feedburner, no es la primera vez que sucede, ten en cuenta que quizás es complicado contabilizar los lectores ya que cada día alguien desarrolla nuevas herramientas para leer o trabajar feeds y, por ende, Feedburner tiene trabajo ahí.
Un Saludo!
12 de Junio del 2008 a las 10:24 PM (Responder ↓)
muy Interesenate. pero tengo una pregunta… este spider como googlebot son agentes moviles??? es decir, si son agentes q viajan de servidor en servidor recuperando informacion de las webs???
espero tener respuestas
Salu2