您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hadoop专题  
 

【hadoop】hadoop环境快速搭建

【作者:Hadoop实战专家】【关键词:hadoop 台机器 namenode 环境 机器 】 【点击:86932次】【2013-06-2】
1 把定制的配置文件和hadoop源码分开,这样升级hadoop版本的时候,不需要重新修改配置文件;1.在每台机器上创建一个admin用户,打通从namenode到各个datanode的ssh通道,这个在网上资料很多,不再描述;-- Put site-specific property overrides in this file.  

相关热门搜索:hadoop核心

大数据标签:hadoop hdfs bigdata

前段时间,搭建了一个hadoop分布式环境,特点在于
1 把定制的配置文件和hadoop源码分开,这样升级hadoop版本的时候,不需要重新修改配置文件;
2 经常要在集群模式/单点模式下进行切换

硬件准备情况:
有4台机器,一台作为namenode,三台作为datanode,机器名分配如下
10.2.224.24 namenode
10.2.224.25 datanode1
10.2.224.26 datanode2
10.2.224.27 datanode3

环境搭建步骤
1.在每台机器上创建一个admin用户,打通从namenode到各个datanode的ssh通道,这个在网上资料很多,不再描述;

2.mkdir  /home/admin/hadoop-installed

3. 在 /home/admin/hadoop-installed目录下解压hadoop压缩包,解压为hadoop

4. mkdir /home/admin/hadoop-installed/cluster-conf

5. 在cluster-conf目录下创建如下四个文件
masters

引用

namenode   #namenode机器的机器名

slaves

引用

datanode1
datanode2
datanode3

hadoop-site.xml

引用





hadoop.tmp.dir
/home/admin/hadoop-installed/filesystem


fs.default.name
hdfs://namenode:54310


mapred.job.tracker
hdsf://namenode:54311


dfs.replication
3


mapred.child.java.opts
-Xmx512m



hadoop-env.sh

引用

export JAVA_HOME=/usr/ali/java
export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"

export HADOOP_LOG_DIR=/home/admin/hadoop-installed/logs

6.增加环境变量HADOOP_CONF_DIR

引用

export HADOOP_CONF_DIR=/home/alisoft/hadoop-installed/conf

7.增加single-conf目录,在该目录下也增加如下四个文件
masters

引用

localhost  #namenode机器的机器名

slaves

引用

localhost

hadoop-site.xml

引用






hadoop.tmp.dir
/home/admin/hadoop-installed/filesystem


fs.default.name
hdfs://localhost:54310


mapred.job.tracker
hdsf://localhost:54311


dfs.replication
1


mapred.child.java.opts
-Xmx512m



hadoop-env.sh

引用

export JAVA_HOME=/usr/ali/java
export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"
export HADOOP_LOG_DIR=/home/alisoft/hadoop-installed/logs

8.  ln -s cluster-conf/ conf   集群模式
或者 ln -s single-conf/ conf   单机调试模式

9. 增加一个同步脚本

引用

DESTSERVER='datanode1 datanode2 datanode3'
for DEST in $DESTSERVER
do
rsync -v -r -l -H -p -g -t -S -e ssh  --exclude ".svn"  --delete  /home/admin/hadoop-installed/conf/    admin@$DEST:/home/admin/hadoop-installed/conf/
rsync -v -r -l -H -p -g -t -S -e ssh  --delete  /home/admin/hadoop-installed/hadoop/    alisoft@$DEST:/home/admin/hadoop-ins
talled/hadoop/

done
exit 0

大数据系列hadoop相关文章:

最新评论
Samantha2014-09-10 01:27:20
[图片]
何去何从2014-09-09 10:01:54
我知道第二种能用,但是我如果到处写死这个东西的话,之后我要是修改了怎么办?
獨倪卜舍2014-09-09 06:23:54
分解任务:Hadoop架构服务器角色分工 - WatchStor.COM http://t.cn/8FNCYpF
Tenir2014-09-08 11:45:03
再次上传就报错:put: Target reader1.txt already exists
沙隆巴斯2014-09-07 06:40:48
数据越来越隐蔽了,越来越值钱了,他们想要数据,不要去买吗
VerNA2014-09-07 12:38:21
【2014年值得关注的十个Hadoop大数据创业公司】开源大数据框架Apache Hadoop已经成了大数据处理的事实标准,同时也几乎成了大数据的代名词:1、Platfora;2、Alpine Data Labs;3、Altiscale;4、Trifacta;5、Splice Machine;6、DataTorrent;7、Qubole;8、Continuuity ;9、Xplenty;10、Nuevora
开心2014-09-06 05:12:49
【想从事大数据、海量数据处理相关的工作,如何自学打基础?】@范侠:海量数据分成两块,一是系统建设技术,二,海量数据应用。先说系统建设,现在主流的技术是HADOOP,主要基于mapreduce的分布式框架。目前… http://t.cn/RvCsFEf (分享自 @知乎 安卓客户端)
小子狼2014-09-05 12:28:00
我们主要会spark hbase hive 精通一个就行啊
自己接受2014-09-05 07:18:03
刚想到一个hadoop比较极端的情况:如果map任务的输出如果超过了本机存储容量,会发生什么?同样的,reduce任务从map拉取输入文件的总大小如果超过了单机容量,会发生什么?http://t.cn/8FPJtOe map个数是InputFormatter决定的,reduce似乎只能手动指定?
夏冰2014-09-04 07:38:51
人家不懂 hadoop hive mapredce hdfs 到底做什么……哭死… 酒仙桥
 
  • Hadoop生态系统资料推荐