Maven构建Hadoop(java)工程详情文档

小讲@大讲台2016/04/01         
1. 第一步---下载maven
http://maven.apache.org/download.cgi
2. Windows系统中配置环境变量
将此D:\maven\apache-maven-3.3.3\bin目录配置在系统变量 Path中
执行命令: mvn –v
有如下结果,则maven安装成功
3. 在eclipse中安装 maven插件
安装过程如下:
eclipse->Help->Install new software
新增一个maven,下面填写http://download.eclipse.org/technology/m2e/releases
4. 在eclipse中配置maven
将maven的配置文件路径配置在eclipse中
Maven的jar库的库默认配置在c盘中,为了节省系统盘的空间,同时方便自己可以将jar配置在其他盘,需要修改
D:\maven\apache-maven-3.3.3\conf\settings.xml
红色部分为修改的部分
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
D:\jar_dependence
需要配置下本地安装的maven,而不是使用eclipse默认的
点击Window -> Preference -> Maven -> Installation -> Add进行设置
5. Eclipse配置hadoop插件及hadoop
Eclipse的插件
下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin
它会告诉你如何编译插件
ant jar -Dversion=2.4.1 -Dhadoop.version=2.4.1 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/share/hadoop
插件生成之后放入eclipse目录
使用的eclipse的版本是juno
放入的目录:D:\training\eclipse\plugins
插件名字:hadoop-eclipse-plugin-2.4.1.jar
将hadoop的目录配置在D:\training\hadoop-2.4.1
6. Eclipsp中创建Maven Handoop工程
创建JAVA工程选maven-archetype-quickstart
7. 点击 Finish创建完成。
8. Maven
Pom.xml文件中配置hadoop jar包
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.02. 利用Hadoop wordcount测试MapReduce程序能否在windows系统中运行起来
第一步:下载
https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
第二步:解压
将winutils.exe放入到D:\training\hadoop-2.4.1\bin 目录下
同时在系统的环境变量中设置%HADOOP_HOME%bin
这步非常关键
总结:
上述过程就是java maven开发hadoop程序的环境搭建过程。每一步都是实战操作。
软件开发中搭建环境熟练使用开发工具也是很重要的。
157****3058 2019/04/08
回复
155****2124 2016/10/11
回复
189****3616 2016/10/03
回复