您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

云计算技术介绍:神奇的小飞象Hadoop-

【作者:Hadoop实战专家】【关键词:文件系统 应用程序 客户端 】 【点击:36911次】【2013-07-2】
Hadoop是一个开源的分布式并行计算平台,它主要由MapReduce的算法执行和一个分布式的文件系统两部分组成。MapReduce 技术的优势在于对映射和规约操作的合理抽象,使得程序员在编写大规模分布式并行应用程序时,几乎不用考虑计算节点群的可靠性和扩展性等问题。任务。  

相关热门搜索:linux创建文件系统 网络文件系统 对于文件系统过大

大数据标签:hadoop hdfs mapreduce bigdata

序言

  Hadoop是一个开源的分布式并行计算平台,它主要由MapReduce的算法执行和一个分布式的文件系统两部分组成。

  Hadoop起源于Doug Cutting大牛领导开发的Nutch搜索引擎项目的子项目。现在是Apache软件基金会管理的开源项目。

  本文主要介绍Hadoop及相关技术,从Hadoop的起源开始讲述,主要涵盖了MapReduce算法思想,基本框架,运行流程和编程粒度等内容,以期给入门者提供一个关于Hadoop的技术简介和研究参考。关于Hadoop的安装指南和编程范例并不在本文叙述范围内,有需要者请参考其它资料。

  因笔者水平实在太有限了,文中如有疏漏错误请不吝指出,万分感谢。本人资料多数来源于互联网的技术文档,附录列出引文列表,特此致谢原文作者。最后,发自内心、无与伦比地感谢Google、Apache软件基金会和Doug Cutting带给我们如此简约、优雅的技术。OK,让我们开始吧!去寻找那神奇的小飞象。

  目录

  引言——Hadoop从何而来

  算法思想——Hadoop是怎么思考的

  基本架构——Hadoop是如何构成的

  运行流程——Hadoop是如何工作的

  任务粒度——Hadoop是如何并行的

  参考文献

  1. 引言——Hadoop 从何而来

  自从Google工程师Jeffrey Dean提出MapReduce编程思想,MapReduce便在Google的各种Web应用中释放着魔力。然而,也许出于技术保密的目的,Google公司并没有透露其MapReduce的实现细节。

  幸运的是,Doug Cutting开发的Hadoop作为MapReduce开源实现,让MapReduce这么平易近人地走到了我们面前。2006年1月,Doug Cutting因其在开源项目Nutch和Lucene的卓越表现受邀加入Yahoo公司,专职在Hadoop项目上进行开发。现在,Doug Cutting大牛已经加盟Cloudera(一家从事Hadoop产品商业化及技术支持的公司)。注:Hadoop 名称的来历——Hadoop 原本是小Doug Cutting 的大象玩具。

  作为Google MapReduce技术的开源实现,Hadoop理所当然地借鉴了Google的Google File System文件系统、MapReduce并行算法以及BigTable。因此,Hadoop也是一个能够分布式处理大规模海量数据的软件框架,这一点不足为奇。当然,这一切都是在可靠、高效、可扩展的基础上。Hadoop的可靠性——因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。

  Hadoop的高效性——在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。Hadoop的可扩展——依赖于部署Hadoop软件框架计算集群的规模,Hadoop的运算是可扩展的,具有处理PB级数据的能力。

  虽然Hadoop自身由Java语言开发,但它除了使用Java语言进行编程外,同样支持多种编程语言,如C++。

  Hadoop的长期目标是提供世界级的分布式计算工具,也是对下一代业务(如搜索结果分析等)提供支持的Web扩展(web-scale)服务。

  2. 算法思想——Hadoop 是怎么思考的

  MapReduce 主要反映了映射和规约两个概念,分别完成映射操作和规约操作。映射操作按照需求操作独立元素组里面的每个元素,这个操作是独立的,然后新建一个元素组保存刚生成的中间结果。因为元素组之间是独立的,所以映射操作基本上是高度并行的。规约操作对一个元素组的元素进行合适的归并。虽然有可能规约操作不如映射操作并行度那么高,但是求得一个简单答案,大规模的运行仍然可能相对独立,所以规约操作也有高度并行的可能。

▲图1

  MapReduce 把数据集的大规模操作分配到网络互联的若干节点上进行,以实现其可靠性;每个节点都会向主节点发送心跳信息,周期性地把执行进度和状态报告回来。假如某个节点的心跳信息停止发送,或者超过预定时隙,主节点标记该节点为死亡状态,并把先前分配到它的数据发送到其它节点。其中,每个操作使用命名文件的原子操作,避免并行线程之间冲突;当文件被改名时,系统可能会把它复制到任务名以外的其它名字节点上。

  由于规约操作的并行能力较弱,主节点尽可能把规约操作调度在同一个节点上,或者距离操作数据最近(或次近,最近节点出现故障时)的节点上。MapReduce 技术的优势在于对映射和规约操作的合理抽象,使得程序员在编写大规模分布式并行应用程序时,几乎不用考虑计算节点群的可靠性和扩展性等问题。

  应用程序开发人员把精力集中在应用程序本身,关于集群的处理问题等交由MapReduce 完成。

  3. 基本架构——Hadoop 是如何构成的

  Hadoop 主要由HDFS(Hadoop Distributed File System)和MapReduce 引擎两部分组成。最底部是HDFS,它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎,该引擎由JobTrackers 和TaskTrackers组成。

  3.1 HDFS

  HDFS 可以执行的操作有创建、删除、移动或重命名文件等,架构类似于传统的分级文件系统。需要注意的是,HDFS 的架构基于一组特定的节点而构建(参见图2),这是它自身的特点。HDFS 包括唯一的NameNode,它在HDFS 内部提供元数据服务;DataNode 为HDFS 提供存储块。由于NameNode 是唯一的,这也是HDFS 的一个弱点(单点失败)。一旦NameNode 故障,后果可想而知。正所谓皮之不存,毛将焉附?

▲图2

  制块上。通常的策略是,对于最常见的3 个复制块,第一个复制块存储在同一机架的不同节点上,最后一个复制块存储在不同机架的某个节点上。

  请注意,只有表示DataNode 和块的文件映射的元数据经过NameNode。当外部客户机发送请求要求创建文件时,NameNode 会以块标识和该块的第一个副本的DataNode IP 地址作为响应。此外,NameNode 还会通知其他将要接收该块副本的DataNode。

▲图3

  NameNode 在FsImage 文件中存储所有关于文件系统名称空间的信息,该文件和一个包含所有事务的记录文件将存储在NameNode 的本地文件系统上。FsImage 和EditLog 文件也有副本,以防止文件损坏或NameNode 系统故障。

  DataNode

  Hadoop 集群包含一个NameNode 和N(N>=1)个DataNode。DataNode通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。通常,机架内部节点之间的传输速度快于机架间节点的传输速度。

  DataNode 响应来自HDFS 客户机的读写请求,也响应NameNode 发送的创建、删除和复制块的命令;NameNode 获取每个DataNode 的心跳消息,每条消息包含一个块报告,NameNode 据此验证块映射和其他文件系统的元数据。如果 DataNode 无法发送心跳消息,NameNode 将采取修复措施,重新复制在该节点上丢失的块。

  3.2 Hadoop Map/Reduce

  Hadoop Map/Reduce 引擎由JobTracker(作业服务器)和Task Tracker(任务服务器)组成。

▲图4

  Job Tracker

  Job Tracker(Google 称为Master)是负责管理调度所有作业,它是整个系统分配任务的核心。它也是唯一的,这与HDFS 类似。因此,简化了同步流程问题。

  Task Tracker

  Task Tracker 具体负责执行用户定义操作,每个作业被分割为任务集,包括Map任务和Reduce 任务。任务是具体执行的基本单元, Task Tracker 执行过程中需要向Job Tracker 发送心跳信息,汇报每个任务的执行状态,帮助Job Tracker 收集作业执行的整体情况,为下次任务分配提供依据。

  在Hadoop 中,客户端(任务的提交者)是一组API,用户需要自定义自己需要的内容,由客户端将作业及其配置提交到Job Tracker,并监控执行状况。

  与HDFS 的通信机制相同,Hadoop Map/Reduce 也使用协议接口来实现服务器间的通信。实现者作为RPC 服务器,调用者经由RPC 的代理进行调用。客户端与Task Tracker 以及Task Tracker 之间,都不再有直接通信。难道客户端就不需要了解具体任务的执行状况吗?不是。难道Task Tracker 相互无需了解任务执行情况吗?也不是。由于整个集群各机器的通信比HDFS 复杂的多,点对点直接通信难以维持状态信息,所以统一由Job Tracker 收集整理转发。

  这里提供一个示例,帮助您理解它。假设输入域是:我爱中国云计算网,我爱云计算技术论坛。在这个域上运行Map 函数将得出以下的键/值对列表:

  如果对这个键/值对列表应用Reduce 函数,将得到以下一组键/值对:结果是对输入域中的单词进行计数,这无疑对处理索引十分有用。但是,现在假设有两个输入域,第一个是“我爱中国云计算网”,第二个是“我爱云计算技术论坛”。您可以在每个域上执行Map 函数和Reduce 函数,然后将这两个键/值对列表应用到另一个Reduce 函数,这时得到与前面一样的结果。换句话说,可以在输入域并行使用相同的操作,得到的结果是一样的,但速度更快。这便是MapReduce 的威力;它的并行功能可在任意数量的系统上使用。图5 演示了MapReduce 的思想。

▲  

▲

▲图5

  一个代表客户机在单个主系统上启动的MapReduce 应用程序称为JobTracker。类似于NameNode,它是Hadoop 集群中惟一负责控制MapReduce 应用程序的系统。在应用程序提交之后,将提供包含在HDFS 中的输入和输出目录。

  JobTracker 使用文件块信息(物理量和位置)确定如何创建其他TaskTracker 从属任务。MapReduce 应用程序被复制到每个出现输入文件块的节点。将为特定节点上的每个文件块创建一个惟一的从属任务。每个TaskTracker 将状态和完成信息报告给JobTracker。

  5. 任务粒度——Hadoop 是如何并行的

  Map 调用把输入数据自动分割成M 片,并且分发到多个节点上,使得输入数据能够在多个节点上并行处理。Reduce 调用利用分割函数分割中间key,从而形成R片(例如,hash(key) mod R),它们也会被分发到多个节点上。分割数量R 和分割函数由用户来决定。

▲图6

  由上的分析可知,我们细分map 阶段成M 片,reduce 阶段成R 片。在理想状态下,M 和R 应当比worker 机器数量要多得多。每个worker 执行许多不同的工作来提高动态负载均衡,并且能够加快故障恢复的速度,这个失效机器上执行的大量map 任务都可以分布到所有其他worker 机器上执行。

  但是在具体编程中,实际上对于M 和R 的取值有一定的限制,因为master 必须执行O(M+R)次调度,并且在内存中保存O(M*R)个状态。(对影响内存使用的因素还是比较小的:O(M*R)块状态,大概每对map 任务/reduce 任务1 个字节就可以了)。

  进一步来说,用户通常会指定R 的值,因为每一个reduce 任务最终都是一个独立的输出文件。在实际中,我们倾向于调整M 的值,使得每一个独立任务都是处理大约16M 到64M 的输入数据(这样,上面描写的本地优化策略会最有效),另外,我们使R 比较小,这样使得R 占用不多的worker 机器。我们通常会用这样的比例来执行MapReduce: M=200,000,R=5,000,使用2,000 台worker 机器。

  本节内容参考MapReduce: Simplified Data Processing on Large Clusters 原文

大数据系列相关文章:

上一篇:hadoop的安装和使用 下一篇:hadoop hdfs
最新评论
静观风雨2014-09-09 10:18:21
CDA没听过啊
若尘2014-09-09 02:44:47
#IT案例#对银行的未来发展而言,利用好大数据是不可忽视的重要一步。在中国农业银行的Hadoop大数据项目中,华为解决方案以RH2288 V2为主要部署,依靠其良好的可扩展性和经济性,帮助农行节约40%的运维成本,支持现场调整与优化的特性还最大限度地发挥了服务器的计算性能,助力农行开启金融大数据时代!
fengzi2014-09-08 09:13:20
﹏俊加入本群
自由人2014-09-07 07:54:47
那肯定啊。一个商业的,一个开源的。
2014-09-07 04:30:31
小文本语料库在Hadoop平台上的存储策略研究 http://t.cn/RhAk9xp
奥莱利Strata中国大会2014-09-06 08:34:45
上了几天课,我最大的感受就是我大学中做的项目、敲的上万行代码开始持力,我大学建立的知识体系正在不断完善,相信12末初,哥会成为一个左手JavaEE右手Hadoop的高手,顺便拿个高薪工作。当然现在必须听课、总结笔记、敲代码。
0象限2014-09-06 04:14:40
我还没有解决,,
吴邦2014-09-05 12:27:24
但我不清楚是否创建完成所有表
杰夫思考人生2014-09-05 08:09:10
#同步助手许愿#我想要《Big Data and Hadoop by WAGmob》,@同步助手 @同步推 快快帮我实现愿望吧~ 用同步助手,不越狱也能免费装苹果正版软件~! http://t.cn/8FNipTl
記忆銷磨ゞ2014-09-04 04:00:15
“爱宇直” 在知乎阅读的【知乎热贴】板块,发表了:【 为什么很多公司的大数据相关业务都基于 Hadoop 方案?】,链接:http://t.cn/RvHpzUB
 
  • Hadoop生态系统资料推荐