Hadoop大数据集群部署实战 Part 3 - 部署 Hive

2021-05-16

文章导航
Hadoop大数据集群部署实战 Part 3 - 部署 Hive
【版本】
【实验名称】
【实验目的】
【实验环境】
【实验资源】
【实验步骤】

Hadoop大数据集群部署实战 Part 3 - 部署 Hive

【版本】

当前版本号v20210516

版本	修改说明
v20210516	初始化版本

【实验名称】

Hadoop大数据集群部署实战 Part3 - 部署 Hive

【实验目的】

掌握 Hive 的部署和使用

【实验环境】

内存：至少4G
硬盘：至少空余40G
操作系统: 64位 Windows系统。

【实验资源】

软件资源

链接：https://pan.baidu.com/s/1xYCO5mT2mxZGkda6j3mtdg
提取码：heis

项目代码

链接：https://pan.baidu.com/s/1DcLksXdp_xbqv1fOBeF-UA
提取码：heis

【实验步骤】

使用 hadoop 登录NodeA节点。

su hadoop

Hive 的安装需要依赖 MySQL 或 MariaDB，这里我们选择 MariaDB。这里需要提权安装，如果安装失败请检查源配置文件/etc/yum.repos.d/local.repo或者光盘是否挂载成功。

sudo yum install mariadb mariadb-server

启动 MariaDB 并设置为开机启动。

sudo systemctl start mariadb
sudo systemctl enable mariadb

使用 MariaDB 的安全安装选项。

mysql_secure_installation

以下为弹出选项的输入值

Enter current password for root (enter for none): 回车
Set root password? [Y/n] Y
New password: 123456
Re-enter new password:123456
Remove anonymous users? [Y/n] Y
Disallow root login remotely? [Y/n] Y
Remove test database and access to it? [Y/n] Y
Reload privilege tables now? [Y/n] Y

测试使用 root 账户登录 MariaDB。密码为123456

mysql -u root -p

登录进入 MariaDB 以后。执行以下SQL

-- 创建 hive 数据库
create database hive CHARACTER SET utf8 COLLATE utf8_general_ci;
-- 创建 hive 用户并授权
create user 'hive'@'localhost' identified by 'hive123456';
create user 'hive'@'%' identified by 'hive123456';
grant all on hive.* to 'hive'@'localhost';
grant all on hive.* to 'hive'@'%';
exit

退出 MariaDB 命令行，使用 hive 用户进行登录，登录以后查看是否有 hive 这个库。

mysql hive -uhive -p

退出 MariaDB 命令行，切换到系统 root 用户。

su

增加 Hive 相关环境变量设置。

需要root权限执行

echo "export HIVE_HOME=/opt/hive
export PATH=\$HIVE_HOME/bin:\$PATH" >>/etc/profile

新增 MariaDB 配置。

需要root权限执行

echo '[client]
default-character-set=utf8
[mysqld]
bind-address = 0.0.0.0
default-storage-engine = innodb
innodb_file_per_table
max_connections = 4096
collation-server = utf8_general_ci
character-set-server = utf8
wait_timeout = 600
max_allowed_packet = 64M
sql_mode=NO_BACKSLASH_ESCAPES
[mysql]
default-character-set=utf8'  >/etc/my.cnf.d/hive.cnf

切换到系统 hadoop 用户。

su hadoop

查看环境变量的输出是否正确。

source /etc/profile
echo $HIVE_HOME

应该输出

/opt/hive

重启 MariaDB。

sudo systemctl restart mariadb

查看进程和端口是否正常。

sudo netstat -tulpn|grep mysql

正常会输出进程信息，类似以下内容：

tcp  0   0 0.0.0.0:3306  0.0.0.0:* LISTEN  2152/mysqld

使用 hadoop 用户上传 Hive 安装文件apache-hive-2.3.8-bin.tar.gz到 /home/hadoop 并解压。

cd ~
tar -xvf apache-hive-2.3.8-bin.tar.gz

创建 hive 安装目录，并拷贝文件到安装目录。

sudo mkdir -p /opt/hive
sudo chown hadoop:wheel /opt/hive
mv ~/apache-hive-2.3.8-bin/* /opt/hive

上传 MariaDB 驱动mariadb-java-client-2.7.2.jar到 /opt/hive/lib/ 目录下。
编辑 Hive 的配置文件。

cd /opt/hive/conf/
vi hive-site.xml

加入以下内容。

<?xml version="1.0" encoding="utf-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 数据库连接 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
  </property>
  <!-- 数据库驱动名 -->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.mariadb.jdbc.Driver</value>
  </property>
  <!-- 数据库用户名 -->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <!-- 数据库用户密码 -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive123456</value>
  </property>
  <!-- 不校验 Schema -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <!-- 显示表头 -->
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
  </property>
  <!-- 表头不显示表名 -->
  <property>
    <name>hive.resultset.use.unique.column.names</name>
    <value>false</value>
  </property>
</configuration>

初始化 Hive 的 Schema。

schematool -dbType mysql -initSchema

检查 MariaDB 的 hive 库里是否有表。

mysql hive -uhive -phive123456
show tables
exit

启动 Hadoop。

start-hdp.sh

启动 Hive

hive

查看所有数据库

hive> show databases;