2008年11月23日星期日

[G4G] Google每天处理约20000TB的数据

"Google热衷于处理全球的信息,每天,他们花费大量时间探索更好的信息整理技术,他们目前使用的技术为 MapReduce,这是一种可以对数据进行并发处理的软件架构。鉴于其简单性与处理大规模数据的能力,MapReduce是Google日常数据处理的完美技术方案。Google 的数据整理实验一直以每TB数据表现为基准。这些标准话实验帮助 Google 理解和对比不同技术的优秀劣,并获得经验和教训,以改进下一代数据处理技术。目前,Google 的每TB数据处理能力为,在1000台计算机中处理 1TB 数据的时间为68秒(使用 Google File System 将 1TB 数据保存在100亿个 100 字节的非压缩文本文件中),以前的表现为 910 台电脑 209秒。"

 
 

参考消息 通过 Google 阅读器发送给您的内容:

 
 

于 08-11-23 通过 Google(谷歌)实验室 作者:admin

 "Google热衷于处理全球的信息,每天,他们花费大量时间探索更好的信息整理技术,他们目前使用的技术为 MapReduce,这是一种可以对数据进行并发处理的软件架构。鉴于其简单性与处理大规模数据的能力,MapReduce是Google日常数据处理的完美技术方案。Google 的数据整理实验一直以每TB数据表现为基准。这些标准话实验帮助 Google 理解和对比不同技术的优秀劣,并获得经验和教训,以改进下一代数据处理技术。目前,Google 的每TB数据处理能力为,在1000台计算机中处理 1TB 数据的时间为68秒(使用 Google File System 将 1TB 数据保存在100亿个 100 字节的非压缩文本文件中),以前的表现为 910 台电脑 209秒。"

�Ķ�ȫ�ģ�710�֣�

 
 

可从此处完成的操作:

 
  --~--~---------~--~----~------------~-------~--~----~
您收到此信息是由于您订阅了 Google 论坛"参考消息(G4G)"论坛。
 要在此论坛发帖,请发电子邮件到 Go2group@googlegroups.com
 要退订此论坛,请发邮件至 Go2group+unsubscribe@googlegroups.com
 更多选项,请通过 http://groups.google.com/group/Go2group?hl=zh-CN 访问该论坛

-~----------~----~----~----~------~----~------~--~---

没有评论: