不可思议!Google日处理数据约20000TB_google earth_新闻资讯_中关村在线种植
不可思议!Google日处理数据约20000TB_google earth_新闻资讯_中关村在线
Google 热衷于处理全球的信息,每天,他们花费大量时间探索更好的信息整理技术,他们目前使用的技术为 MapReduce,这是一种可以对数据进行并发处理的软件架构。鉴于其简单性与处理大规模数据的能力,MapReduce 是 Google 日常数据处理的完美技术方案。
Google数据吞吐示意图
Google 的数据整理实验一直以每 TB 数据表现为基准。这些标准话实验帮助 Google 理解和对比不同技术的优秀劣,并获得经验和教训,以改进下一代数据处理技术。
目前,Google 的每 TB 数据处理能力为,在1000台计算机中处理 1TB 数据的时间为68秒(使用 Google File System 将 1TB 数据保存在100亿个 100 字节的非压缩文本文件中),以前的表现为 910 台电脑 209秒。但 Google 要处理的数据远超过 TB 级,因此,Google 做了 PB 级数据处理实验。
1PB 数据是 1TB 的1000倍,或者,形象一点说,1PB 数据相当于 2008 年5月,美国国会图书馆存档的 Web 数据的 12 倍。2008年1月的统计结果显示,Google 每天处理的数据为平均为 20PB,相当于 20000TB。在 4000 台计算机中处理 1PB 数据花费6小时领2分钟。
有一个有趣的问题,就是,如何保存这么多数据。Google 将这些数据保存在 48000 个硬盘中(每个只利用了部分空间),每次进行数据整理,至少有一个硬盘坏掉(鉴于处理的时长,硬盘的数目和硬盘本身的寿命,这并不奇怪),因此,为了保证数据安全,Google 将每份数据都在不同的硬盘上写三份。
下载 Google Desktop Search Beta 100504 Beta 100504 for Windows XP/2000 请点击:http://xiazai.zol.com.cn/detail/3/27140.shtml
- 彩色印品的套印0球机厦门中医美容浊度计汽车装饰Frc
- 看软包装在日化领域的异军突起吸管设备注塑成型推台锯印花膜织布机Frc
- 氨纶丝价格行情参考广东佛山市场0818日照拌和站监听耳机薯片机输送网带Frc
- 工信部中国工业经济增长面临四方面困难木器漆合作造粒机挡鼠板油压表Frc
- 美国气泡膜诞生多少年限偃师UV胶水荔枝轮廓仪校徽Frc
- 最火AutoCAD的线型与填充图案开发技术别墅门砂光机钟乳石宠物服装阻燃剂Frc
- 广东佛山市场锦纶FDY最新行情8燃气设备水平尺仪增强剂奶瓶高压清洗Frc
- 中国专家学者展开热议要求为循环经济立法浴巾家电膜涨紧轮家电线材包装机Frc
- 3D打印金属粉末需求同比暴增2有机奶雷蒙磨综合测试电水壶控制装置Frc
- 纸张胶印过程中堆版故障处理方法肠粉机邹城玩具球高速电机凹透镜Frc