Google anunció hace un par de días, con motivo de su mensual cumpleaños, que su índice iba a subir hasta alcanzar una cifra 3 veces mayor que cualquier otro buscador. ¿Y cómo alcanzará esto?
Desde luego, si se ponen a indexarse a ellos mismos, la cifra la alcanzan y la superan. Esto es lo que les está pasando, que están indexando las búsquedas en su nuevo Buscador de Blogs, como se aprecia en esta búsqueda.
Ya puestos, que quite el robots.txt de su página principal, y se ponga a indexar todas las búsquedas, así llenaría sus búsquedas con otros resultados.
De todas formas, no creo que esto se expanda más allá, porque ya han colocado su robots.txt correspondiente. Y se excluye la posibilidad de que la culpa sea del nuevo motor de búsquedas de RSS, porque en el buscador principal aparecen los mismos resultados.
Vía | Google Dirson
Comentarios
Los dos primeros parrafos llego a entenderlos pero en cuanto te pones a comentar lo del robot.txt me quedo fuera de juego...
Para otro dia estaria bien una pequeña explicacion de esto del robot.txt que me imagino no mucha gente sepa que es... yo de momento me marcho a googlear a ver que encuentro...
Perdona por no explicarlo, Patodegoma... Bueno, te lo explico aquí ;)
El fichero robots.txt es un fichero de texto plano que se pone en el directorio principal de un sitio. ¿Para qué? Para que los robots de los buscadores, cuando vayan indexando sitios, sepan lo que hacer mirando ese archivo. Por ejemplo, si pones en una línea disallow /images, pues el buscador ya sabe que esa carpeta no la debe mirar, y por tanto, lo que esté en esa carpeta "no sale" en Google.
¿Te ha quedado claro? Si tienes más dudas, encantado yo te las resuelvo, para eso estamos ;)