您现在的位置 >> Hadoop教程 >> Hadoop实战 >> hbase专题  
 

discuz论坛apache日志hadoop大数据分析项目:Java web部署

【作者:Hadoop实战专家】【关键词:点击 】 【点击:28772次】【2013-02-1】
点击OK,此步骤已经全部完成项目的构建过程。 注:本开源项目提供的为hadoop2.2 和hbase 0.96 版本的JAR包,请根据实际的情况更换对应的JAR包。绑定tomcat在myeclipse中:与使用myeclipse默认的tomcat类似;将war文件放到tomcat的webapps目录下。  

相关热门搜索:

大数据标签:hadoop hbase bigdata

此文档由 about云群(39327136)成员Never give up(2607322268);编写提供

一、下载源代码

1.源码(GIT)地址:https://code.csdn.net/bj278595437/aboutyunhadoop

2.下载完毕后如下图所示的目录结构

1.png (4.04 KB, 下载次数: 0)

  

5 天前 上传

注:

·document为该开源项目的文档说明,目录结构如下图所示:

2.png (4.51 KB, 下载次数: 0)

  

5 天前 上传

·code为该开源项目的文档说明,目录结构如下图所示:

3.png (2.96 KB, 下载次数: 0)

  

5 天前 上传

about-yun为web模块的源代码(本次部署文档的详解内容);test暂时为未建设的工程(不进行探讨)

·software包含了本开源项目所用到的JAR包和TOMCAT服务器(可选用,也可以用自己安装的)

:

4.png (5.37 KB, 下载次数: 0)

  

5 天前 上传

二、建立数据库(本开源项目使用MYSQL以及HBASE,安装过程省略)

1.      建立MYSQL数据库(执行一下语句):

create database aboutyun;

use aboutyun;

DROP TABLE IF EXISTS `ipstatistical`;

CREATE TABLE `ipstatistical`(

`IpAddress` varchar(30) DEFAULTNULL,

`VisitNum` int(11) DEFAULT NULL,

`Time` datetime DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=latin1;

2.      建立HBASE分布式数据库(在HBASE SHELL中执行以下语句):

create 'LogTable','info'

三、构建工程

1.      打开myeclipse,点击FILE----IMPORT----- existing Eclipse projects-----Select ROOTdirectory----BROWSE----选择about-yun所在的目录-----finfsh

5.png (60.44 KB, 下载次数: 0)

  

5 天前 上传

图:导入工程

6.png (18.01 KB, 下载次数: 0)

  

5 天前 上传

图2:工程目录结构

2.

导入工程所需要的包(由于项目工程一开始使用的是链接外部的JAR包,故需要将项目所用的JAR包进行导入)

a)        解压项目根目录下software中的lib.

b)       复制lib文件夹到项目工程目录下,如下图所示:

7.png (3.29 KB, 下载次数: 0)

  

5 天前 上传

3   c) 右键工程——BUILD PATH(构建路径)——configure build path(配置构建路径)——选择LIBRARIES标签——删除有错误的JAR包

8.png (43.21 KB, 下载次数: 0)

  

5 天前 上传

配置构建路径页面

9.png (25.07 KB, 下载次数: 0)

  

5 天前 上传

删除错误的JAR包后的页面

d)       把lib下的JAR包加进来(点击 add JARS——选择about-yun下LIB里全部的JAR包——点击OK)

10.png (12.02 KB, 下载次数: 0)

  

5 天前 上传

选择LIB目录下全部的JAR包

11.png (39.49 KB, 下载次数: 0)

  

5 天前 上传

添加后的页面截图

e)        点击OK,此步骤已经全部完成项目的构建过程。

注:本开源项目提供的为hadoop2.2hbase 0.96 版本的JAR包,请根据实际的情况更换对应的JAR包。

3.      修改配置信息

a)        修改mysql数据库配置信息

l        打开resources——config——application-context-ds.xml文件

l        修改ID为:dataSource 的BEAN下的数据库信息(根据实际情况修改)

12.png (39.53 KB, 下载次数: 0)

  

5 天前 上传

b)       修改HBASE数据库配置信息

l       打开:com.aboutyun.base.dao.impl. HbaseDaoImpl.java

13.png (10.45 KB, 下载次数: 0)

  

5 天前 上传

l       修改HADOOP的地址(根据实际情况)

14.png (16.52 KB, 下载次数: 0)

  

5 天前 上传

四、程序部署

a)        使用myeclips自带的TOMCAT进行部署(默认是8080,确保此端口没被占用,若被占用,请自行修改)

i.             点击图4.1中按钮(Deploy andundeploy J2EE projects.)——红色标注的按钮

ii.             出现图4.2后,点击add——在SERVER下拉框选择myeclipse tomcat选项——点击finished

iii.             右键工程——选择RUN AS——选择myeclipseserver application

iv.             控制台打印出启动信息,若无报错,则成功。如图4.3所示

v.             在浏览器中访问http://IP地址:端口号/about-yun,则可以进入统计页面,如图4.4所示

15.png (28.26 KB, 下载次数: 0)

  

5 天前 上传

图4.1

16.png (16.03 KB, 下载次数: 0)

  

5 天前 上传

图4.2

17.png (9.75 KB, 下载次数: 0)

  

5 天前 上传

图4.3

18.png (49.16 KB, 下载次数: 0)

  

5 天前 上传

图4.4

b)       使用自己安装的TOMCAT进行部署

i.             绑定tomcat在myeclipse中:与使用myeclipse默认的tomcat类似;

ii.             不绑定tomcat在myeclipse中:

1.        右键工程——选择EXPORT——选择JAVA EE——WAR FILE——选择保存war文件的路径——finish

2.        将war文件放到tomcat的webapps目录下。启动tomcat即可。(tomcat会自行解压这个文件)

19.png (16.46 KB, 下载次数: 0)

  

5 天前 上传

20.png (2.41 KB, 下载次数: 0)

  

5 天前 上传

大数据系列hbase相关文章:

最新评论
李雁川2014-09-10 10:12:05
我觉得应该不是很复杂的业务
流云2014-09-10 05:52:36
石*頭加入本群
共好2014-09-09 06:32:01
他娘的都已经N次了,无论是在HBase或稍懂的HDFS还是完全不懂的kernel界,当我遇到问题辛辛苦苦分析快接近真相找到解法时,都发现Facebook的有人也找到了这个点已经或正在解决中,不知是该高兴呢还是无奈呢...
伤不起2014-09-09 05:25:08
这样你下载下来,直接替换lib包就可以了。不需要重新安装
十九2014-09-08 06:45:39
他说等过年,娃赚了压岁钱,给我买。。。
晚风2014-09-08 12:29:50
跪求hbase不要严重读超时
浪漫荷塘2014-09-07 11:12:30
Linux内核开发技术今日推荐: http://t.cn/8FObC9Y 大数据Hadoop相关技术今日推荐: http://t.cn/8FH0cdT Linux系统虚拟化技术今日推荐: http://t.cn/8F82nGP 。
芭比宝贝2014-09-06 05:02:58
深圳天源迪科信息技术股份有限公司(广州研发中心)
Scott2014-09-05 12:17:10
Presto实现原理和美团的使用实践 | Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析。但Hive使用MapReduce作为底层计算框架,是专为批处理设计的。但... http://t.cn/RvsbrE0
2014-09-04 11:11:53
Hadoop很强大,但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具,毕竟Hadoop不是万能的!本文中列举了几种不适合使用Hadoop的场景:低延迟的数据访问、结构化数据、数据量并不大的时候、大量的小文件、太量写入和文件更新等。@小狗不吃糖 http://t.cn/8FS8gQL
 
  • Hadoop生态系统资料推荐