您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hdfs专题  
 

hadoop及hbase的超时设置

【作者:Hadoop实战专家】【关键词:HDFS 设置 修改 配置 】 【点击:92331次】【2013-10-0】
1.hadoop超时,该如何设置超时时间? 最近在测试mysql往HDFS备份的性能问题,发现对mysql执行xtrabackup进行限速之后经常出现HDFS写入不正常的情况。;public static int READ_TIMEOUT = 60 * 1000;  

相关热门搜索:

大数据标签:hadoop hdfs hbase bigdata

问题导读:
1.hadoop超时,该如何设置超时时间?
2.hbase超时时间限制,该如何设置?

最近在测试mysql往HDFS备份的性能问题,发现对mysql执行xtrabackup进行限速之后经常出现HDFS写入不正常的情况。

1. 错误如下:

11/10/12 10:50:44 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_8540857362443890085_4343699470java.net.SocketTimeoutException: 66000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/172.*.*.*:14707 remote=/*.*.*.24:80010]

2. 修改超时设置

后来发现HDFS写入过程中有两个超时设置: dfs.socket.timeout和 dfs.datanode.socket.write.timeout;有些地方以为只是需要修改后面 的dfs.datanode.socket.write.timeout项就可以,其实看报错是READ_TIMEOUT。对应在hbase中的默认值如下:

1. // Timeouts for communicating with DataNode for streaming writes/reads

2.

3. public static int READ_TIMEOUT = 60 * 1000; //其实是超过了这个值

4.

5. public static int READ_TIMEOUT_EXTENSION = 3 * 1000;

6.

7. public static int WRITE_TIMEOUT = 8 * 60 * 1000;

8.

9. public static int WRITE_TIMEOUT_EXTENSION = 5 * 1000; //for write pipeline

复制代码

3. 修改配置文件

所以找出来是超时导致的,所以在hadoop-site.xml配置文件中添加如下配置:

1. 

2. dfs.datanode.socket.write.timeout

3. 3000000

4. 

复制代码

1. 

2. dfs.socket.timeout

3. 3000000

4. 

5. 

复制代码

大数据系列hdfs相关文章:

最新评论
明风Andy2014-09-10 04:38:53
怎么抓
胡怡文Z支付宝2014-09-09 08:39:06
Hadoop-Eclipse-plugin在Hadoop之后还是放在plugin目录下吗
在路上张金银2014-09-09 03:38:13
其实我不是特别明白资源集中管理的优势
流星2014-09-08 05:36:56
这里发一篇《在 IBM CAMP 服务器上实现开源 Hadoop HDFS 的高可用性》文章, 介绍Plinux上的 HDFS HA. http://t.cn/RvpBygu
济万2014-09-07 06:42:39
有多少最近在学JAVA 的 能推荐基本入门的吗
孤单天使2014-09-07 12:16:27
【SparkR发布,让R跑在Spark上】SparkR是AMPLab发布的一个R开发包,为Apache Spark提供了轻量级的R语言前端。SparkR提供了Spark中弹性分布式数据集(RDD)的API,用户可以在集群上通过R shell交互性地运行job。例如,我们可以在HDFS上读取或写入文件。http://t.cn/8FfFJQ4 by @Tony包研
图图2014-09-07 01:32:27
2014年12个大数据趋势预测_图里图外TULITUWAI.COM 当下,“大数据”已成为2013年最火的技术词汇之一;而在过去一年,这个市场的增速和改变也不可谓不大。同时,我们还看到了Hadoop及其生态系统的使用门槛从顶尖技术人才到数据科学家的改变。越来越多的企业拥抱大数据技术,并将 http://t.cn/8kg33ss
啟明2014-09-06 10:08:39
根我的9000端口有关系吗。。但是他没有错误日志啊
傻潴2014-09-06 05:56:27
Thinking in BigDate(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解 - yczws1的专栏 - 博客频道 - CSDN.NET http://t.cn/8FjTRMC
Hadoop-李振刚2014-09-05 08:34:37
【拨开SAP与Hadoop集成的迷雾】Hadoop很火,但究竟什么是Hadoop?实际上,它并不是一个具体的软件。Hadoop是Apache软件基金会的一个项目,它包含了多个核心工具,用来处理海量数据以及大型计算集群。接下来我们就将深入地介绍一下SAP的软件是如何与Hadoop结合的。http://t.cn/Rvw1Xih @何春银微想
 
  • Hadoop生态系统资料推荐