您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hadoop,mapreduce专题  
 

10gen发布MongoDB与Hadoop连接器

【作者:Hadoop实战专家】【关键词:MongoDB MapReduce 数据 】 【点击:4240次】【2013-08-0】
10gen近日宣布他们已经推出MongoDB与Hadoop连接器(1.0版)。这个版本将提供一年的维护。 连接器的核心功能主要是提供将MongoDB所存储的数据读入Hadoop MapReduce,同时将MapReduce处理过的数据返还到MongoDB。用户还可以选择是批量写入数据或是单独用在某个用例上。  

相关热门搜索:

大数据标签:hadoop mapreduce flume bigdata

10gen发布MongoDB与Hadoop连接器

10gen近日宣布他们已经推出MongoDB与Hadoop连接器(1.0版)。这个版本将提供一年的维护。10gen的工作也为用户提供了在MongoDB部署与Hadoop集群数据处理的一体化工具。此连接器支持Hadoop 0.20.x以上的版本。

连接器的核心功能主要是提供将MongoDB所存储的数据读入Hadoop MapReduce,同时将MapReduce处理过的数据返还到MongoDB。用户还可以选择是批量写入数据或是单独用在某个用例上。10gen的目标就是在Hadoop生态圈中建立对用户有意义的组件。

在1.0版本中10gen还提供了如下特性:

●从Pig写入数据到 MongoDB

●从Flume 分布式日志系统写入到 MongoDB

●在MapReduce中支持Python,并通过 Hadoop Streaming 读取并写入数据到MongoDB

在未来10gen团队将会继续完善他们的工作,据悉未来将会考虑对Ruby的支持,以及脱机处理MongoDB备份文件读写的能力。(李智/编译)

关于MongoDB

大数据系列hadoop,mapreduce相关文章:

最新评论
邹洲洲2014-09-10 07:55:53
好像之前发过这个表情吧
心娘2014-09-10 05:48:38
是啊,
ququzone2014-09-09 06:08:16
是ect/profile吗
千尚2014-09-08 06:12:01
避免了数据在不同集群之间的搬运
木羽2014-09-08 02:01:57
本人不才,在北邮开设云计算课程,内容为Hadoop大数据处理,有50余名北邮硕士博士,本学期打算安排两节课邀请业界专家讲解Hadoop及云计算技术在企业中的实践,有时间的兄弟姐妹们可以联系我 @caibinbupt @Deepb1ue
丫头2014-09-08 01:28:25
收藏了 //【惠普5000万美元战略投资Hadoop大数据平台】http://t.cn/RPqUchO (分享自 @今日头条)
无可替代2014-09-07 08:16:23
丰子2014-09-07 09:14:32
“Mongo on Hadoop”:MongoDB存储近期数据,历史数据以BSON格式dump到Hadoop中。为了能够在Hadoop中读取BSON格式的数据做MapReduce处理,利用Thift对象作为过渡。PS:在foursquare中使用的是Scala语言,可以利用Spindle生成Thift中的Scala代码。 http://t.cn/8F9TeO4
低智商是硬伤2014-09-06 10:47:12
招聘高级java开发工程师(大数据方向):有高并发服务器项目的开发经验;熟悉HDFS/HBase/Hive/MapReduce/Pig/Mahout/Spark/Impala等;熟悉linux,shell;计算机专业本科及以上学历,本科三年/硕士一年大数据平台开发经验;有互联网大数据开发经验者优先。 http://t.cn/RvW21v7
FireCodeMan2014-09-05 09:32:34
广州.Net培训gz.itcast.cn之C#培训get.post调用同名方法,最好的广州Java培训,广州.Net培训,gz.itcast.cn 020-38325125 ,广州PHP培训,广州Hadoop培训,广州unity3D培训,广州UI培训,广州网页平面培训,广州android培训尽在广州传智播客广州.Net培训培训中心.|广州Net培训gzitcastcn之C#培训创建edmx文件及附属
 
  • Hadoop生态系统资料推荐