Hadoop 大数据集群部署实战课程资源汇总
文章导航
课程设计报告模板资源下载
链接：https://pan.baidu.com/s/1xYCO5mT2mxZGkda6j3mtdg
提取码：heis
课程设计报告要求
- 必须使用老师提供的课程设计报告模板。
- 必须保留封面
- 实验步骤每一步都有详细的文字操作步骤说明，步骤顺序号，截图。
- 截图只需要截关键部分信息，不能全屏截图。可以用红色框或箭头标注截图重点信息。推荐使用 Snipaste（官网下载或网盘下载） 进行截图和标记。
课程设计报告提交截止时间和地址
后续会公布链接，请各位同学登录网站 https://heis.gitee.io/hadoop-training-summary查看。
课程内容
（1）Hadoop大数据集群部署实战 Part 1 - 模板机制作
（2）Hadoop大数据集群部署实战 Part 2 - 部署 Hadoop 完全分布模式
（3）Hadoop大数据集群部署实战 Part 3 - 部署 Hive
（4）Hadoop大数据集群部署实战 Part 4 - 搭建 Hadoop 开发环境
（5）Hadoop大数据集群部署实战 Part 5 - 使用 MapReduce 和 Hive 进行数据分析
课程设计报告提交
19级计算机2班 截止日期：2021/6/7（周一）
19级计算机4班 截止日期：2021/6/21（周一）
Hadoop 官方手册
常用命令
vi/vim 命令图
查看IP地址等网络配置信息
ip a
修改包括IP等网络配置命令
#如果你的网卡名为eth0
vim /etc/sysconfig/network-scripts/ifcfg-eth0
#如果你的网卡名为ens33
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#地址
IPADDR=10.0.0.11
#掩码
PREFIX=24
#网关
GATEWAY=10.0.0.254
#DNS1
DNS1=233.5.5.5
查看某项服务状态
systemctl status 服务名称 -l
查看一系列服务状态，例如下面是查看筛选包含nova关键字的服务。
systemctl --all | grep nova
查看进程端口等信息
- 查看所有进程消息
netstat -tulpn
- 查看进程信息包含 mysql 的进程
netstat -tulpn|grep mysql
卸载软件
yum remove 软件名称
查看日志
- Hadoop 的日志通常都在
$HADOOP_HOME/logs下，可以使用tail命令进行对日志尾部进行输出。
查看所有相关服务状态
- 例如查看所有nova的相关服务
systemctl -a|grep nova
修改系统时间
- 修改日期为 2021年3月11日
date -s 2021/03/11
- 修改时间为 10:38:29
date -s 10:38:29
- 写入CMOS
clock -w
修改 Linux 用户密码
- 修改当前用户密码
passwd
- 修改指定用户密码，注意需要提升到 root 权限才能修改。
passwd 指定用户名
切换 Linux 用户
su 用户名
递归修改目录下所有文件或目录的owner和group。
- 例如修改 /opt/hadoop 下所有文件或目录，owner 设置为 hadoop，group 设置为 wheel。
chown hadoop:wheel -R /opt/hadoop
遇到 Permission Deny 如何解决。
（1）确保当前用户对该文件或目录拥有权限，可以使用以下命令进行查看。
ls -l
（2）使用 chown 权限修改文件或目录的owner。
（3）使用 chmod 命令修改文件或目录的权限。
- 例如hadoop用户对脚本没有执行权限
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rw-r--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
- 通过运行 chmod 命令进行修改，获取执行权限。
[hadoop@nodea9999 sbin]$ chmod -744 start-hdp.sh
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rwxr--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
如何清除 HDFS 回收站内容
- 立即从文件系统中删除过期的检查点
hadoop fs -expunge
如何不经过回收站直接删除 HDFS 文件
hdfs dfs -rm -skipTrash 文件路径