您现在的位置 >> Hadoop教程 >> Hadoop实战 >> 专题  
 

数据控使用Hadoop的三种最常用方式

【作者:Hadoop实战专家】【关键词:应用程序 数据 】 【点击:15478次】【2013-04-0】
使用Hadoop的“数据精炼厂”模式使组织能够将这些新数据源纳入他们常用BI和分析应用程序。无论垂直与否,精炼厂概念仍然适用。 数据探索用例通常是在企业开始可以探索以前被丢弃的数据(如网络日志,社交媒体数据等等)并构建全新的分析应用程序然后直接使用这些数据。  

相关热门搜索:

大数据标签:hadoop bigdata

问题导读:
1、分析Hadoop应用程序有哪些模式?
2、传统的数据库应用程序将逐渐被Hadoop应用程序取代吗?

摘要
就在之前,Apache Hadoop 2.0正式发布,这是 Hadoop领域巨大的里程碑,因为它开启了史无前例的数据存储方式革命。Hadoop保留它典型的“大数据”基础技术,但它是否适合当下数据库及数据仓库的使用方式?又是否有一种通用模式可以切实降低固有的使用复杂性呢?

Hadoop使用的一般模式
Hadoop最初的构想是为像Yahoo、Google、Facebook等这样的公司以非常低的成本来解决大量数据的存储问题。现在,它正被越来越多地引入企业环境中处理新不同数据类型。机器生成的数据、传感器数据、社交数据、网络日志等数据类型呈指数级增长,而且这些数据也常常(但不总是)是非结构化。正是由于这种类型的数据将人机对话从“数据分析”带到“大数据分析”:因为挖掘这些数据可以得到商业优势。
分析应用程序以各种形式流行起来,最重要的是可以定向解决一个垂直行业的需要。乍一看,他们彼此似乎在行业和垂直上没有关系,但是实际上,当在基础设施层面观察时,会出现一些非常清晰的模式,也就是以下3种模式:

Pattern 1:数据精炼厂
使用Hadoop的“数据精炼厂”模式使组织能够将这些新数据源纳入他们常用BI和分析应用程序。例如,我可能有一个应用程序,它能够在ERP和CRM系统中查看客户建立在上面的数据。但是如何才能从他们的web session(基于我们网站)中发现他们的兴趣所在?“数据精炼厂”,这个使用模式正是顾客期望的。

5555.png (72.29 KB, 下载次数: 0)

  

2014-7-4 17:56 上传

这里的关键概念是Hadoop是被用来提取大量数据以便更容易管理。然后生成的数据被加载到现有数据系统,这些数据可以使用传统的工具访问,但是别忘了,这些操作都是建立在更丰富的数据集上。从某些方面来说,这是最简单的用例,因为无需对传统途径进行大的修改,企业就可以清晰的从Hadoop上获益。无论垂直与否,精炼厂概念仍然适用。在金融服务领域,我们看到组织提炼交易数据以便更好地了解市场,分析和从复杂的组合中寻找价值。能源公司使用大数据来分析不同地区的消费水平以便更好地预测生产水平。零售企业(任何面向消费者组织)经常使用精炼厂来洞察网络人气。电信公司使用精炼厂调用电话记录来提取有用信息细节以便优化计费方式。最后,在昂贵的,任务关键的垂直设备上,我们常常发现Hadoop被用来预测分析和主动的故障识别。在通信技术中,这可能是一个网络的基站。特许经营餐厅中可以用来监控冷藏库的数据。

Pattern 2: 用Apache Hadoop来探索数据
第二个最常见的用例我们称之为“数据探索”。在这种情况下,组织在Hadoop上获取和存储大量的新数据,然后直接探索这些数据。因此不是使用 Hadoop作为暂存区域进行处理然后将数据转移到企业数据仓库(就像使用精炼厂用例一样),数据是保存在Hadoop上然后直接探索。

22.png (70.08 KB, 下载次数: 0)

  

2014-7-4 17:57 上传

数据探索用例通常是在企业开始可以探索以前被丢弃的数据(如网络日志,社交媒体数据等等)并构建全新的分析应用程序然后直接使用这些数据。几乎每一个垂直系统都可以享受到探索用例的优越性。在金融服务领域,我们可以用探索用例来执行取证或识别欺诈。职业体育团队将利用数据科学来分析交易和年度草案,就像我们在电影《Moneyball》看到的。总之数据科学和探索可以用来发现新的商业机会或新的见解,这在Hadoop之前是不可能实现的。

Pattern 3: 挖掘应用程序
第三个也是最后一个用例是“挖掘应用程序”。在这种情况下,存储在Hadoop中的数据决定了应用程序的用途。例如,通过挖掘存储的所有网络会话数据,当用户重返网站时,我们可以为他们定制个性体验。通过挖掘Hadoop中存储的这些数据,我们可以从会话历史找到很多有用的价值。比如通过用户的历史记录来提供一个及时反馈。

88.png (67.31 KB, 下载次数: 0)

  

2014-7-4 17:58 上传

结语
这个用例是世界上许多大型网站如Yahoo、Facebook等业务的基础。通过定制的用户体验,他们可以有效与他们的竞争对手区分。这是雅虎Hadoop的第二个用例,就如当初它意识到Hadoop能够帮助改善广告位置一样。这个概念转变了大型的网站,同时也正在使传统的企业改善销售,而一些小组织甚至也使用这些概念在零售网点实现动态定价。

正如你所预料的那样,随着组织熟悉在Hadoop上提炼和探索数据,最后的这种最典型的用例正在被普遍采用或接受。但与此同时,这也暗示了今后Hadoop能做什么,并且随着时间的推移和发展,传统的数据库应用程序将逐渐被Hadoop应用程序取代。

当然任何涉及到新平台技术,在进入IT企业环境时都有一定的复杂性,Hadoop也不例外。无论你是使用Hadoop来改进或是探索,还是丰富你的数据,与现有IT基础架构的兼容将是关键。这就是为什么目前Hadoop生态系统和能集成不同供应商之间解决方案得以显著增长。 Hadoop有潜力在企业数据领域产生深远影响,通过理解常见的使用模式,您将可以极大地减少其复杂性。

大数据系列相关文章:

最新评论
GuoFeng_Michael2014-09-10 12:45:09
可以的
SeqWorks2014-09-09 07:22:05
问题,小问题对我这初学的也是问题
小东2014-09-08 06:02:44
【杭州-快的打车】急聘:#杭州招聘# 技术专家,5年以上JAVA开发经验,精通JAVA,精通mysql,熟悉hadoop,全日制本科(211/985或公司背景很好)简历请投:fancyfrees@yeah.net
Gary_Fu_SH2014-09-08 09:48:14
因为我是数据挖掘方向的研究生…
阿神hzl2014-09-08 05:46:37
#当下流行的分布式文件系统大阅兵# 本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括:Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。http://t.cn/RhLP6hx
Martin_IT民工2014-09-07 09:28:45
hadoop这玩意儿没接触过啊
Joshua大数据2014-09-06 08:17:37
运维是个矛盾体,提升性能与保障系统稳定本来就是对立的。就像Hadoop,关闭speculative固然可以提升资源有效使用率,却又解决不了计算短板问题。 能优化系统性能提升100%,与此同时稳定性降低100%。取与啥的问题
猪八戒2014-09-06 12:53:53
概念也只是大学的时候学过,之后,就很少用过了
2014-09-05 09:35:25
详解Hadoop核心架构_中国统计网(iTongji.CN) http://t.cn/8shNgQn
余年2014-09-05 09:02:08
#创新甲骨文#当今企业正越来越多地使用关系数据库之外的多样化数据源,如Hadoop和NoSQL,因此数据孤岛问题越来越严重,不仅妨碍了数据分析和洞察,还导致大数据无法发挥出真正的潜力。为此,甲骨文推出了Oracle大数据SQL,为企业提供全面的大数据解决方案。http://t.cn/RPy0zva
 
  • Hadoop生态系统资料推荐