El Morador del Abismo

Para aquellos que tengan curiosidad sobre el funcionamiento de Google, vía DiarioTi me encuentro con una animación Flash creada por el sitio Portfolio.com en donde se explica de forma bastante simple cómo funciona el buscador.

Lamentablemente está en Inglés, el objetivo es explicar cómo se puede realizar una búsqueda tan rápido y lo describe en cinco pasos (solo los resumo de forma simple):

1. Todo empieza con una persona haciendo una consulta.
2. Google envia la consulta al cluster más cercano para procesar la búsqueda.
3. El sistema de clusters hace que varias computadoras trabajasen como si fuera una sola. Si existen problemas en alguna de ellas, el sistema continúa funcionando sin problemas.
4. Dentro del cluster: Podremos observar una breve descripción de cada componente. Ellos son el Web Server, Index Server, Document Server, Spelling Server, Ad Server, Page Builder, Google Bots, Page Rank y el principal, “Three copies of the World Wide Web”. Todos los componentes trabajan en conjunto para procesar la búsqueda.
5. El resultado es devuelto al usuario en menos de un segundo.

Quizás el punto que muchos se detendrán a pensar es qué significa que Google tenga “Three copies of the World Wide Web” (tres copias de la Web). Bien, para quienes no lo sepan, el secreto de Google (o uno de ellos) está en que cachea la Web, es decir, no busca en Internet, sino que previamente descargó “todas las páginas web del mundo” en sus servidores. En primera instancia parece imposible, pero no lo es. ¿Cómo lo hace? Con los Google Bots, herramientas automáticas (robots) que constantemente monitorean nuevos sitios web y descargan la información a los servidores de Google. ¿Cómo hacen para almacenar tanta información? En un principio, el principal secreto, es que descargan solo el contenido de texto, y el resto de los contenidos (como imágenes o multimedia) almacenan solo el link al sitio original.

De todas formas se imaginarán que la cantidad de datos que tiene almacenada Google es increíble. Copio textual de la fuente:

Respecto del volumen de datos almacenados por Google, Portfolio.com escribe que las estimaciones van desde los 20 petabytes hasta los 200 petabytes sugeridos por la publicación Wired. Para dar al lector una idea del volumen de tales datos, escribe “Si comienzas a descargar un petabyte de datos mediante tu línea de banda ancha, tu tatara-tatata-tatara-tatara-tataranieto aún estaría por aquí cuando se terminaran de descargar los últimos bytes, en el año 2.514″.

Fuente