您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

免费的晚餐--google技术学习(转)

【作者:Hadoop实战专家】【关键词:结构化 存储 数据 处理 】 【点击:27281次】【2013-01-3】
MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。BigTable 是Google Style的数据库,使用结构化的文件来存储数据。2:定义int数组submits 存放统计结果,用hour作下标。  

相关热门搜索:hbase存储

大数据标签:hadoop mapreduce hive bigdata

作者:江南白衣,原文出处: http://www.blogjava.net/calvin/archive/2007/01/31/96844.html ,转载请保留出处。

如果说Google的搜索引擎是免费的早餐,Gmail们是免费的午餐的话,    http://labs.google.com/papers/ 就是Google给开发人员们的一份免费的晚餐。
不过,咋看着一桌饭菜可能不知道从哪吃起,在自己不熟悉的领域啃英文也不是一件愉快的事情。

一、一份PPT与四份中文翻译     幸好,有一位面试google不第的老兄,自我爆发搞了一份Google Interal的PPT:
http://cbcg.net/talks/googleinternals/index.html,大家鼠标点点就能跟着他匆匆过一遍google的内部架构。
然后又有崮崮山路上走9遍(http://sharp838.mblogger.cn)与美人他爹(http://my.donews.com/eraera/),翻译了其中最重要的四份论文:

* 《MapRedue:在超大集群上的简易数据处理》--Simplified Data Processing on Large Clusters
* 《The Google File System》
* 《海量数据分析:Sawzall并行处理》 --Interpreting the Data: Parallel Analysis with Sawzall
* 《Bigtable:结构化数据的分布存储系统》 --A Distributed Storage System for Structured Data
二、Google帝国的技术基石     Google帝国,便建立在大约45万台的Server上,其中大部分都是"cheap x86 boxes"。而这45万台Server,则建立于下面的key infrastructure:
1.GFS(Google File System):     GFS是适用于大规模分布式数据处理应用的分布式文件系统,是Google一切的基础,它基于普通的硬件设备,实现了容错的设计与极高的性能。
李开复说:Google最厉害的技术是它的storage。我认为学计算机的学生都应该看看这篇文章(再次感谢翻译的兄弟)。

它以64M为一个Chunk(Block),每个Chunk至少存在于三台机器上,交互的简单过程见:

2.MapReduce    MapReduce是一个分布式处理海量数据集的编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。像Grep-style job,日志分析等都可以考虑采用它。

MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验,就可以处理超大的分布式系统得资源。
我自己接触MapReduce是Lucene->Nutch->Hadoop的路线。
Hadoop是Lucene之父Doug Cutting的又一力作,是Java版本的分布式文件系统与Map/Reduce实现。
Hadoop的文档并不详细,再看一遍Google这篇中文版的论文,一切清晰很多(又一次感谢翻译的兄弟)。

孟岩也有一篇很清晰的博客:Map Reduce - the Free Lunch is not over?
3.BigTable      BigTable 是Google Style的数据库,使用结构化的文件来存储数据。
虽然不支持关系型数据查询,但却是建立GFS/MapReduce基础上的,分布式存储大规模结构化数据的方案。
BigTable是一个稀疏的,多维的,排序的Map,每个Cell由行关键字,列关键字和时间戳三维定位.Cell的内容是一个不解释的字符串。
比如下表存储每个网站的内容与被其他网站的反向连接的文本。
反向的URL com.cnn.www(www.cnn.com)是行的关键字;contents列存储网页内容,每个内容有一个时间戳;因为有两个反向连接,所以archor列族有两列:anchor:cnnsi.com和anchhor:my.look.ca,列族的概念,使得表可以横向扩展,archor的列数并不固定。

为了并发读写,热区,HA等考虑,BigTable当然不会存在逗号分割的文本文件中,,是存储在一种叫SSTable的数据库结构上,并有BMDiff和Zippy两种不同侧重点的压缩算法。
4.Sawzall    Sawzall是一种建立在MapReduce基础上的领域语言,可以被认为是分布式的awk。它的程序控制结构(if,while)与C语言无异,但它的领域语言语义使它完成相同功能的代码与MapReduce的C++代码相比简化了10倍不止。
1    proto "cvsstat.proto"
2    submits: table sum[hour: int] of count: int;
3    log: ChangelistLog = input;
4    hour: int
= hourof(log.time)
5    emit submits[hour] <-
1;

天书吗?慢慢看吧。
我们这次是统计在每天24小时里CVS提交的次数。
首先它的变量定义类似Pascal  (i:int=0; 即定义变量i,类型为int,初始值为0)
1:引入cvsstat.proto协议描述,作用见后。
2:定义int数组submits 存放统计结果,用hour作下标。
3.循环的将文件输入转换为ChangelistLog 类型,存储在log变量里,类型及转换方法在前面的cvsstat.proto描述。
4.取出changlog中的提交时间log.time的hour值。
5.emit聚合,在sumits结果数组里,为该hour的提交数加1,然后自动循环下一个输入。
居然读懂了,其中1、2步是准备与定义,3、4步是Map,第5步是Reduce。

三. 小结:  本文只是简单的介绍Google的技术概貌,大家知道以后除了可作谈资外没有任何作用,我们真正要学习的骨血,是论文里如何解决高并发,高可靠性等的设计思路和细节.....

大数据系列相关文章:

最新评论
只是小女仔2014-09-10 08:09:52
at java.security.AccessController.doPrivileged(Native Method)
残月星辰2014-09-10 03:59:59
【英特尔发力大数据 打造专属软件工具】与云计算一样,大数据在现今互联网世界中具为极为重要意义。其中英特尔公司就在该领域持续投资,并将打造专业软件工具。据外媒报道,英特尔在继续为Hadoop开放源代码大数据处理框架打造软件工具,重点是大企业要求甚高的安全和可靠性功能。http://t.cn/8Fjptbm
穆妍熙2014-09-09 03:01:52
#媒体播报#【相比x86,Isilon支持Hadoop有五大优势】相比x86架构,Isilon在支持Hadoop、OpenStack等方面有更多技术优势。①OneFS在集群存储系统中地位超然,4年时间实现从几百万到十亿美元销售。②Isilon提供对HDFS不间断的支持。③存储端和计算端分开、支持多种协议和访问方式...RPy0AWq
欧阳2014-09-08 07:40:58
【深度解析LinkedIn大数据平台】了解日志,对理解数据库、NoSQL存储、键值存储、复制、Hadoop,以及几乎所有的软件系统具有重要的促进作用,本文将带你全面了解日志的所有东西,包括日志是什么,如何在数据集成、实时处理和系统构建中使用日志等。全文共5篇,得静下心来好好观看。RP4ed4r
嘻嘻3212014-09-08 04:30:16
[图片]10K
听说2014-09-07 04:16:21
就5台机器.
q清2014-09-06 09:01:02
匹配txt文本第一行的正则怎么写
一路上有你2014-09-06 07:18:44
各位在吗,我在配置Nova的KVM时输入[图片]提示[图片]
2014-09-06 09:10:11
Good night,Hadoop.
ECCP-云计算平台2014-09-05 03:29:37
【Bigtable 具体是怎样一个东西?和 MapReduce, Google File System 之间的关系是什么?】@林立伟:Hadoop是很多组件的集合,主要包括但不限于MapReduce,HDFS… http://t.cn/8FdO1xL (分享自 @知乎 安卓客户端)
 
  • Hadoop生态系统资料推荐