您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hdfs专题  
 

hadoop2体系结构

【作者:Hadoop实战专家】【关键词:集群 HDFS 数据 】 【点击:70451次】【2013-11-0】
NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享。HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。  

相关热门搜索:openfire 集群 hadoop集群配置 hadoop集群管理工具

大数据标签:hadoop hdfs yarn mapreduce zookeeper bigdata

阅读本文需要具有hadoop 1.x的基础。
可以带着下面问题来阅读本文:
1.hadoop2中支持几个NameNode?
2.NameNode之间是什么关系?
3.NameNode之间如何切换?

hadoop1的核心组成是两部分,即HDFS和MapReduce。在hadoop2中变为HDFS和Yarn。

新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。

这两个NameNode的地位如何哪?答:一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,通过手工或者自动切换,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。这就是高可靠。

当NameNode发生故障时,他们的数据如何保持一致哪?在这里,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,JournalNode集群或者NFS进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享。

如何实现NameNode的自动切换哪?这就需要使用ZooKeeper集群进行选择了。HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。

HDFS Federation(HDFS联盟)是怎么回事?答:联盟的出现是有原因的。我们知道NameNode是核心节点,维护着整个HDFS中的元数据信息,那么其容量是有限的,受制于服务器的内存空间。当NameNode服务器的内存装不下数据后,那么HDFS集群就装不下数据了,寿命也就到头了。因此其扩展性是受限的。HDFS联盟指的是有多个HDFS集群同时工作,那么其容量理论上就不受限了,夸张点说就是无限扩展。

思考:hadoop2通过什么使集群更稳固

来自群组: Hadoop技术组

大数据系列hdfs相关文章:

最新评论
jiangsi2014-09-10 06:06:35
at org.apache.hadoop.util.Shell.run(Shell.java:379)
幸福梦想2014-09-09 08:27:04
[图片]
heidsoft黑洞2014-09-09 02:07:08
我说你装清纯呢,嘿嘿
一生有你2014-09-08 08:56:13
再比如电信的BOSS系统
星星订单2014-09-07 05:30:38
高中疯狂过
明月星空892014-09-06 08:52:49
Hadoop初探之常用端口列表 - 一、HDFS端口 参数 描述 默认 配置文件 http://t.cn/8FlcwZ6
桔梗2014-09-06 02:48:56
【zabbix监控Hadoop的实现】 Hadoop日常运行过程中一些参数需要进行实时监控,如:Map、Reduce任务数量,HDFS磁盘使用情况,namenode、datanode在线数量及健康情况,以便更好的掌握整个Hadoop集群架构的运行情况。 下面结合最近工作中的一些实践经… http://t.cn/RPzznlZ
 
  • Hadoop生态系统资料推荐