Hadoop的 “ 生态圈 ”
Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。* Huge data had to saved- HDFS was born!* Hiho and sqoop for loading data into HDFS – RDBMS can join the Hadoop band wagon!
相关热门搜索:hive 查看数据库命令
大数据标签:hadoop hdfs mapreduce hbase hive mahout zookeeper sqoop flume bigdata
Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。 * 这一切,都起源自Web数据爆炸时代的来临 * 数据抓取系统 - Nutch * 海量数据怎么存,当然是用分布式文件系统 - HDFS * 数据怎么用呢,分析,处理 * MapReduce框架,让你编写代码来实现对大数据的分析工作 * 非结构化数据(日志)收集处理 - fuse,webdav, chukwa, flume, Scribe * 数据导入到HDFS中,至此RDBSM也可以加入HDFS的狂欢了 - Hiho, sqoop * MapReduce太麻烦,好吧,让你用熟悉的方式来操作Hadoop里的数据 – Pig, Hive, Jaql * 让你的数据可见 - drilldown, Intellicus用高级语言管理你的任务流 – oozie, Cascading * Hadoop当然也有自己的监控管理工具 – Hue, karmasphere, eclipse plugin, cacti, ganglia * 数据序列化处理与任务调度 – Avro, Zookeeper * 更多构建在Hadoop上层的服务 – Mahout, Elastic map Reduce * OLTP存储系统 – Hbase * How did it all start- huge data on the web! * Nutch built to crawl this web data * Huge data had to saved- HDFS was born! * How to use this data? * Map reduce framework built for coding and running analytics – java, any language-streaming/pipes * How to get in unstructured data – Web logs, Click streams, Apache logs, Server logs – fuse,webdav, chukwa, flume, Scribe * Hiho and sqoop for loading data into HDFS – RDBMS can join the Hadoop band wagon! * High level interfaces required over low level map reduce programming– Pig, Hive, Jaql * BI tools with advanced UI reporting- drilldown etc- Intellicus * Workflow tools over Map-Reduce processes and High level languages * Monitor and manage hadoop, run jobs/hive, view HDFS – high level view- Hue, karmasphere, eclipse plugin, cacti, ganglia * Support frameworks- Avro (Serialization), Zookeeper (Coordination) * More High level interfaces/uses- Mahout, Elastic map Reduce * OLTP- also possible – Hbase *
大数据系列hadoop,hdfs相关文章:
- Hadoop生态系统资料推荐
Hive 安装过程 大数据如何在物联网高速公路上驱动分析 phoenix实战(hadoop2、hbase0.96) hadoop配置含义(继续更新中) 为什么64MB(或128MB或256MB)是最优选择? 如何“打败”CAP定理 使用FileSystem类进行文件读写及查看文件信息 hadoop的核心思想 Facebook开发技术简谈 实战之Hadoop的HDFS扩容 Hadoop 新 MapReduce 框架 Yarn 详解 Hadoop Summit 2012 侧记 HADOOP基本操作命令 Hadoop分布式文件系统和OpenStack对象存储的区别 Hadoop关于处理大量小文件的问题和解决方法 - 剑在手,问天下谁是英雄 - ChinaUnix个人空间 - Powered by X-Space - Powered by SupeSite hadoop深入研究:(六)——HDFS数据完整性 HBase 数据文件在HDFS上的存储 Hadoop MapReduce Hold不住? Yahoo的Storm-YARN离实时Hadoop查询更进一步 hadoop术语解释 HDFS小文件处理及解决方案 大数据从“小”做起——中小企业Big Data解决之道 : 弯曲评论 免费的晚餐 2011 八月 | 信研所::管理信息系统相关专业分享社区 Hadoop源代码组织结构:各个文件介绍 sudo详解 ubuntu创建新用户并增加管理员权限 2011年云计算发展的七大趋势 大数据相关概念的界定与浅析 hadoop编程:hadoop与mysql数据库相连读出数据 索引:基于Solr DIH实现MySQL表数据全量索引和增量索引 about云开发--百晓生免费提问 Hadoop Hadoop多文件输出:MultipleOutputFormat和MultipleOutputs深究 Puppet自动安装OpenStack Nova Apache OFBiz在电商网站的实践视频分享 通过eclipse中的Java API上传至集群为什么replication默认3份,该如何设置
最新评论