解宝明2017/03/20         
一、搭建hadoop所需环境
卸载openJDK1.1,在/opt/目录下创建四个目录:
modules/ software/ datas/ tools/
解压hadoop-2.5.0及jdk-7u67-linux-x64.tar.gz至modules目录下:
$tar -zxvf hadoop-2.5.0.tar.gz /opt/modules/ $tar -zxvf jdk-7u67-linux-x64.tar.gz /opt/modules/
1.2添加java环境变量。
$sudo vi /etc/profile 添加环境变量: export JAVA_HOME=/opt/modules/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin 更新配置: #source etc/profile
设置nodepad++与hadoop所在主机链接,以便修改配置。
二、hadoop伪分布式设置
1,添加java指令目录到hadoop-env.sh,yarn-env.sh,mepre-env.sh
2,core-site.xml配置
<property> <name>hadoop.tmp.dir</name> <value>/opt/modules/hadoop-2.6.0-cdh5.4.4/data/tmp </value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://adddeiMac.local:8020</value> </property>
3,hdfs-site.xml配置
<property> <name>dfs.replication</name> <value>1</value> </property>
4,mapred-site.xml配置
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
5,yarn-site.xml配置
<property> <name>yarn.resourcemanager.hostname</name> <value>adddeiMac.local</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
6,slaves配置
miaodonghua.host//主机名:nodemanager和datanode地址三、启动hadoop
1,格式化文件系统
2,启动hdfs
$sbin/hadoop-daemon.sh start namenode $sbin/hadoop-daemon.sh start datanode
3,创建目录、上传文件并查看文件内容
$bin/hdfs dfs -mkdir /usr/hadoop/tmp $bin/hdfs dfs -put etc/slaves /usr/hadoop/tmp
上传成功后可以在web端口查看:
查看slaves内容
$bin/hdfs dfs -cat /usr/hadoop/tmp/slaves
启动yarn
$sbin/yarn-daemon.sh start resourcemanager $sbin/yarn-daemon.sh start nodemanager
启动hdfs和yarn成功后,jps:
查看namnode和Resourcemanager的webapp
四、在yarn上运行wordcount
1,创建wordcount的输入文件
vi /opt/datas/wc.input 内容: yarn spark hadoop mapreduce mapreduce spark hdfs yarn yarn mapreduce hadoop hdfs spark spark
2,创建目录,并上传wc.input
$bin/hdfs dfs -mkdir -p /usr/hadoop/mapreduce/wordcount/input $bin/hdfs dfs -put /opt/datas/wc.input mapreduce/wordcount/input
3,运行wordcount。
查看结果
在/user/hadoop/mapreduce/output目录下会生成结果文件
五、自己目前对hadoop组件的理解
6.执行reduce任务,将任务输出保存到HDFS
最后想要了解更多关于Hadoop的新闻资讯,请关注大讲台官网、微信等平台,大讲台IT职业在线学习教育平台为您提供权威的大数据Hadoop培训课程和视频教程系统,通过大讲台金牌讲师在线录制的第一套自适应Hadoop在线视频课程系统,让你快速掌握Hadoop从入门到精通大数据开发实战技能。