一、基础环境的安装与配置
1.集群的规划：
主要包括NameNode、ResourceManager、NodeManager、SecondaryNameNode、DataNode这些角色与机器的划分，如下图
2.主机名修改
vim /etc/hostname
分别修改为：node1.itcast.cn、node2.itcast.cn、node3.itcast.cn
3.hosts映射
vim /etc/hosts 192.168.88.151 node1.itcast.cn node1 192.168.88.152 node2.itcast.cn node2 192.168.88.153 node3.itcast.cn node3
4.防火墙关闭
firewall-cmd --state #查看防火墙状态 systemctl stop firewalld.service #停止firewalld服务 systemctl disable firewalld.service #开机禁用firewalld服务
5.ssh免密登录：只需要在node1配置
#node1生成公钥私钥 (一路回车) ssh-keygen #node1配置免密登录到node1 node2 node3 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3
6.集群时间同步（三台机器一起）
yum -y install ntpdate ntpdate ntp5.aliyun.com
7.创建统一工作目录
mkdir -p /export/server/ #软件安装路径 mkdir -p /export/data/ #数据存储路径 mkdir -p /export/software #安装包存放路径
8.安装JDK1.8（三台机器）
三台机器同时上传 jdk-8u241-linux-x64.tar.gz到/export/server/目录下
cd /export/server/ tar zxvf jdk-8u241-linux-x64.tar.gz
配置环境变量：
vim /etc/profile
#使用vim快捷键 G o：直接在最后一行下方进行编辑
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#shift+zz快捷保存退出
#使用scp命令复制配置文件
scp -r /etc/profile root@node2:/etc
scp -r /etc/profile root@node3:/etc
#重新加载环境变量文件
source /etc/profile
#检查jdk版本验证是否安装成功
java -version
二、Hadoop的安装
1.在node1上传、解压hadoop安装包
本次使用的版本是：hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
cd /export/server tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
2.查看Hadoop安装包目录结构：
三、修改Hadoop配置文件主要修改内容包括：
1.修改hadoop-env.sh配置文件：
cd etc/hadoop/
vi hadoop-env.sh
#文件最后添加G o快捷键
export JAVA_HOME=/export/server/jdk1.8.0_241
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
2.配置core-site.xml文件：
fs.defaultFS hdfs://node1:8020 hadoop.tmp.dir /export/data/hadoop-3.3.0 hadoop.http.staticuser.user root hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * fs.trash.interval 1440
3.配置hdfs-site.xml文件：
dfs.namenode.secondary.http-address node2:9868
4.配置mapred-site.xml文件：
mapreduce.framework.name yarn mapreduce.jobhistory.address node1:10020 mapreduce.jobhistory.webapp.address node1:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}
5.配置yarn-site.xml文件：
yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800
6.配置workers
vi workers
#dd删除原有信息，输入以下从节点信息，快捷键i进入编辑
node1.itcast.cn
node2.itcast.cn
node3.itcast.cn
7.同步Hadoop安装包至node2及node3
cd /export/server # $PWD代表当前路径 scp -r hadoop-3.3.0/ root@node2:$PWD scp -r hadoop-3.3.0/ root@node3:$PWD
8.将Hadoop添加到环境变量（3台机器）
vim /etc/profile #使用快捷键G o编辑 export HADOOP_HOME=/export/server/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #shit+zz退出，scp到另外两台机器 scp /etc/profile root@node2:/etc scp /etc/profile root@node3:/etc #在统一发送命令行中，重新加载配置文件 source /etc/profile
9.验证Hadoop是否正常安装
#在统一发送命令行输入hadoop hadoop
三台机器都出现以上信息，表示hadoop已经在三台机器上面都成功安装。
