Hadoop伪分布式搭建

1、1. 配置Hadoop环境变量

# 配置HADOOP环境变量

vi /etc/profile
# 内容
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 立即生效
source /etc/profile
# 配置JAVA_HOME为JDK安装目录
vi /usr/local/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_231

2、2. 修改主机名

vi /etc/hosts

添加内容

192.168.71.130 master

3、3. 主要配置

# 创建目录

mkdir -p /hadoop/tmp

# 核心配置：core-site.xml

vi /usr/local/hadoop-2.9.2/etc/hadoop/core-site.xml
# 添加内容
<configuration>
        <property>
                <name>fs.default.name</name>
               <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/hadoop/tmp</value>
        </property>
</configuration>

# HDFS 配置文件：hdfs-site.xml

vi /usr/local/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
# 内容
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

4、4. 格式化

hdfs namenode -format

5、5. mapreduce 配置

在 etc/hadoop 目录下：mapred-site.xml

将：mapred-site.xmlroot   改为：mapred-site.xml

cp /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml.template 

# 配置

vi /usr/local/hadoop-2.9.2/etc/hadoop/mapred-site.xml

# 添加内容

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

6、6. Yarn 配置 yarn-site.xml

# 添加配置

vi /usr/local/hadoop-2.9.2/etc/hadoop/yarn-site.xml
# 内容
<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
</property>
<property>
       <name>yarn.resourcemanager.hostname</name>
       <value>master</value>
</property>

7、start-all.sh   启动所有节点