一、搭建hadoop所需环境

  1.1,在/opt/目录下创建四个目录：

modules/
software/
datas/
tools/

  解压hadoop-2.5.0及jdk-7u67-linux-x64.tar.gz至modules目录下：

$tar -zxvf hadoop-2.5.0.tar.gz /opt/modules/
$tar -zxvf jdk-7u67-linux-x64.tar.gz /opt/modules/

  1.2添加java环境变量。

$sudo vi /etc/profile
添加环境变量：
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
更新配置：
#source etc/profile

  设置nodepad++与hadoop所在主机链接，以便修改配置。

  1，添加java指令目录到hadoop-env.sh，yarn-env.sh,mepre-env.sh

  2，core-site.xml配置

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.6.0-cdh5.4.4/data/tmp
</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://adddeiMac.local:8020</value>
    </property>

  3，hdfs-site.xml配置

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

  4，mapred-site.xml配置

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

  5，yarn-site.xml配置

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>adddeiMac.local</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

  6，slaves配置

miaodonghua.host//主机名：nodemanager和datanode地址

  1，格式化文件系统

  2，启动hdfs

$sbin/hadoop-daemon.sh start namenode
$sbin/hadoop-daemon.sh start datanode

  3，创建目录、上传文件并查看文件内容

$bin/hdfs dfs -mkdir /usr/hadoop/tmp
$bin/hdfs dfs -put etc/slaves /usr/hadoop/tmp

  上传成功后可以在web端口查看：

  查看slaves内容

$bin/hdfs dfs -cat /usr/hadoop/tmp/slaves

  启动yarn

$sbin/yarn-daemon.sh start resourcemanager
$sbin/yarn-daemon.sh start nodemanager

  启动hdfs和yarn成功后，jps：

  四、在yarn上运行wordcount

  1，创建wordcount的输入文件

vi /opt/datas/wc.input
内容：
yarn spark
hadoop mapreduce
mapreduce spark
hdfs yarn
yarn mapreduce
hadoop hdfs
spark spark

  2，创建目录，并上传wc.input

$bin/hdfs dfs -mkdir -p /usr/hadoop/mapreduce/wordcount/input
$bin/hdfs dfs -put /opt/datas/wc.input mapreduce/wordcount/input

  3，运行wordcount。

  在/user/hadoop/mapreduce/output目录下会生成结果文件

  6.执行reduce任务，将任务输出保存到HDFS

  最后想要了解更多关于Hadoop的新闻资讯，请关注大讲台官网、微信等平台，大讲台IT职业在线学习教育平台为您提供权威的大数据Hadoop培训课程和视频教程系统，通过大讲台金牌讲师在线录制的第一套自适应Hadoop在线视频课程系统，让你快速掌握Hadoop从入门到精通大数据开发实战技能。