栏目分类:
子分类:
返回
文库吧用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
文库吧 > IT > 前沿技术 > 大数据 > 大数据系统

CentOS安装HBase(伪分布式)

CentOS安装HBase(伪分布式)

一、安装jdk
1、通过共享文件夹或者winSCP将jdk安装包上传到Linux的指定目录/opt下

2、解压 tar包
tar -xzvf jdk-linux-x64.tar.gz
3、配置环境变量
vi /etc/profile
在/etc/profile 末尾添加如下内容

4、使新的配置文件生效
source /etc/profile
5、执行命令“java -version”,显示内容如下,表示安装成功

二、安装ssh
1、通过“rpm -qa | grep ssh”命令查看是否已安装,如果返回包含“openssh-client”的字样,说明已经安装 SSH 客户端软件。否则,用“yum install openssh-client”命令安装

已经安装了ssh则忽略安装
2、安装 SSH 服务端软件
yum install openssh-server
3、重启 SSH 服务并设置开机启动
sudo sshd restart
chkconfig sshd on

三、映射ip与主机名
1、修改主机名称为hadoop1
vim /etc/sysconfig/network

2、不重启系统使主机名立马生效
hostname hadoop1
3、映射ip与主机名
vim /etc/hosts

四、安装配置hadoop
1、下载hadoop2.7.3的安装包
下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

2、解压安装包
将下载的hadoop-2.7.3.tar.gz文件通过WinSCP等工具上传到Linux的~/soft目录下中

解压安装包
tar -zxvf hadoop-2.7.3.tar.gz
解压后ls查看发现多了一个目录hadoop2.7.3

创建软链接,方便使用
ln -s hadoop-2.7.3 hadoop

配置Linux环境变量
vi ~/.bashrc
在文件末尾添加:

让环境变量立即生效
source ~/.bashrc

五、设置免密登录
生成秘钥对
cd ~
ssh-keygen -t rsa,连续敲击三次回车

在~/.ssh中生成公钥(id_rsa.pub)和私钥(id_rsa)

追加公钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
验证免密登录(注意前后路径的变化)

六、配置Hadoop伪分布式
首先切换到配置文件所在目录
cd ${HADOOP_HOME}/etc/hadoop
ls查看有哪些配置文件

配置hadoop-env.sh
(1)echo $JAVA_HOME 查看JAVA_HOME的绝对路径


(2)打开hadoop-env.sh,找到含有export JAVA_HOME=${JAVA_HOME}一行,将等号后面的内容删除,换成JAVA_HOME的绝对路径

配置core-site.xml, 在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:

配置hdfs-site.xml,在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:

配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:

配置yarn-site.xml,在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:

配置slaves,将localhost修改为主机名,例如: hadoop1

格式化Hadoop文件系统
hdfs namenode -format
执行以上命令后,输出若看到“Exiting with status 0”为格式化成功,否则可能哪个步骤出错,请再检查前面的设置。
注意:格式化只需要进行一次,以后启动hadoop前不需要再次格式化。

启动Hadoop
(1)启动HDFS
start-dfs.sh
jps查看进程,能看到除了jps之外有三个进程出现,分别是:NameNode、DataNode、SecondaryNameNode

如果少了某个进程,解决思路是:进入Hadoop的logs目录下查看相应的log。
例如:没有NameNode进程,需要用cat命令 查看namenode相关的.log的文件,即:hadoop-hadoop-namenode-node1.log。
执行以上命令后,找到error、exception、warn等包含错误的关键信息,得到错误原因,进而对症解决。
(2)启动YARN
start-yarn.sh
jps查看进程,多出有2个进程出现,分别是:ResourceManager、NodeManager

如果少了其中任意一个进程,解决思路也是查看相应的log,找到问题原因,进而解决。

查看Hadoop的Web监控页面(在windows系统)
(1)访问HDFS Web监控页面,打开浏览器,在地址栏输入:192.168.26.129:50070。 浏览器显示截图如下:

(2)访问YARN的Web监控页面,打开浏览器,在地址栏输入:192.168.26.129:8088。浏览器显示截图如下:

hadoop伪分布式搭建成功
stop-all.sh,停止所有的hadoop服务

七、安装Hbase
下载Hbase
下载地址:https://archive.apache.org/dist/hbase/
下载文件:hbase-1.3.1-bin.tar.gz

下载完成后,将 hbase-1.3.1-bin.tar.gz 文件通过共享文件夹或者WinScp等工具上传到Linux中的~/soft目录下

解压hbase
tar -zxvf hbase-1.3.1-bin.tar.gz
新建软链接,方便使用
ln -s hbase-1.3.1 hbase

配置环境变量
vi ~/.bashrc,在文件末尾添加如下内容:

让环境变量立即生效
source ~/.bashrc

验证
hbase version
正常输出如下:

配置hbase-env.sh
cd $Hbase_HOME/conf

编辑hbase-env.sh
vi hbase-env.sh
找到并 修改JAVA_HOME的值 及 配置使用hbase自带的ZooKeeper
注意:1.需要去掉export前面的#号; 2.JAVA_HOME的值注意根据实际情况修改
修改如下:

配置hbase-site.xml,在< configuration>< /configuration>之间添加如下内容:

配置regionservers
删除原有内容改为Linux的主机名,例如:hadoop1

启动hbase
(1)先启动hadoop
start-all.sh
(2)再启动hbase
start-hbase.sh
(3)验证
查看jps进程

浏览器访问:192.168.26.129:16010

安装完成!!!

转载请注明:文章转载自 www.wk8.com.cn
本文地址:https://www.wk8.com.cn/it/784990.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 wk8.com.cn

ICP备案号:晋ICP备2021003244-6号