Hadoop 课程资源汇总
文章导航
实验报告模板资源下载
https://pan.baidu.com/s/1ghde86wcK6pwg1fdSSWg0w#提取码v3wv
实验报告要求
- 必须使用老师提供的实验报告模板。
- 必须保留封面
- 实验步骤每一步都有详细的文字操作步骤说明，步骤顺序号，截图。
- 截图只需要截关键部分信息，不能全屏截图。可以用红色框或箭头标注截图重点信息。推荐使用 Snipaste（官网下载或网盘下载） 进行截图和标记。
实验报告提交截止时间和地址
后续会公布链接，请各位同学登录网站 https://heis.gitee.io/hadoop-c-summary查看。
课程内容
（1）Hadoop Part 1 - 模板机制作
（2）Hadoop Part 2 - 部署 Hadoop 完全分布模式
（3）Hadoop Part 3 - HDFS 访问方式
（4）Hadoop Part 4 - 搭建 Hadoop 开发环境
（5）Hadoop Part 5 - HDFS Java 编程访问
（6）Hadoop Part 6 - 编写 MapReduce 程序
（7）Hadoop Part 7 - 部署 Hive 和 Hive 常用操作
（8）Hadoop Part 8 - 部署 HBase 和 HBase 常用操作(选做)
（9）Hadoop Part 9 - 部署 ZooKeeper 和 ZooKeeper 常用操作(选做)
（10）Hadoop Part 10 - Flume 和 Sqoop 操作实例(选做)
实验报告提交
（1）Hadoop Part 1 实验报告提交，截止日期：2021/4/11（周日）
- 19级计算机1班 http://xzc.cn/cs0481so8V
- 19级计算机2班 http://xzc.cn/nyP85kt5c7
- 19级计算机3班 http://xzc.cn/GApyGVCSf2
- 19级计算机4班 http://xzc.cn/H7SE9e47sG
（2）Hadoop Part 2 实验报告提交，截止日期：2021/4/16（周五）
- 19级计算机1班 http://xzc.cn/JEBDlddJL3
- 19级计算机2班 http://xzc.cn/LmFZz20j00
- 19级计算机3班 http://xzc.cn/FC9PppC931
- 19级计算机4班 http://xzc.cn/m5QDJQgCr4
（3）Hadoop Part 3 实验报告提交，截止日期：2021/4/24（周六）
- 19级计算机1班 http://xzc.cn/kI67I5ir4i
- 19级计算机2班 http://xzc.cn/YgDcYyCQwC
- 19级计算机3班 http://xzc.cn/M7PBsEPpB4
- 19级计算机4班 http://xzc.cn/Urss85hGRE
（4）Hadoop Part 4 实验报告提交，截止日期：2021/5/1（周六）
- 19级计算机1班 http://xzc.cn/mms9WWOCE4
- 19级计算机2班 http://xzc.cn/DZa21GU72z
- 19级计算机3班 http://xzc.cn/cjb0Pl5N5v
- 19级计算机4班 http://xzc.cn/G33v1y3tt2
（5）Hadoop Part5 实验报告提交，截止日期：2021/5/19（周三）
- 19级计算机1班 http://xzc.cn/f3x5NR3uHk
- 19级计算机2班 http://xzc.cn/m1g4z52AeM
- 19级计算机3班 http://xzc.cn/d2ZZfuz2S2
- 19级计算机4班 http://xzc.cn/pl61P8122T
（6）Hadoop Part6 实验报告提交，截止日期：2021/5/26（周三）
- 19级计算机1班 http://xzc.cn/OHyn82NFf8
- 19级计算机2班 http://xzc.cn/OS3zJEJ69J
- 19级计算机3班 http://xzc.cn/JvvDK7YVjF
- 19级计算机4班 http://xzc.cn/SyZzOoXsSk
（7）Hadoop Part7 实验报告提交，截止日期：2021/6/2（周三）
- 19级计算机1班 http://xzc.cn/F4ZTwPbH4Q
- 19级计算机2班 http://xzc.cn/yPejev4V71
- 19级计算机3班 http://xzc.cn/G5TBp9Wbkd
- 19级计算机4班 http://xzc.cn/C9QYFkJkJy
（8）Hadoop Part8 实验报告提交（选做），截止日期：2021/6/9（周三）
- 19级计算机1班 http://xzc.cn/IRwTtAeBtM
- 19级计算机2班 http://xzc.cn/ayoDr1AiKz
- 19级计算机3班 http://xzc.cn/Zl7447X5JE
- 19级计算机4班 http://xzc.cn/N5W6V3G9v9
（9）Hadoop Part9 实验报告提交（选做），截止日期：2021/6/16（周三）
- 19级计算机1班 http://xzc.cn/e1AA5R17rZ
- 19级计算机2班 http://xzc.cn/r8F1Zf9FLf
- 19级计算机3班 http://xzc.cn/DI6uEofu0L
- 19级计算机4班 http://xzc.cn/cKqzAOznPQ
（10）Hadoop Part10 实验报告提交（选做），截止日期：2021/6/16（周三）
- 19级计算机1班 http://xzc.cn/ADfU9SMiMD
- 19级计算机2班 http://xzc.cn/TkyV60VKTb
- 19级计算机3班 http://xzc.cn/Sh14x24h4O
- 19级计算机4班 http://xzc.cn/M4SkJ54OOh
Hadoop 官方手册
常用命令
vi/vim 命令图
查看IP地址等网络配置信息
ip a
修改包括IP等网络配置命令
#如果你的网卡名为eth0
vim /etc/sysconfig/network-scripts/ifcfg-eth0
#如果你的网卡名为ens33
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#地址
IPADDR=10.0.0.11
#掩码
PREFIX=24
#网关
GATEWAY=10.0.0.254
#DNS1
DNS1=233.5.5.5
查看某项服务状态
systemctl status 服务名称 -l
查看一系列服务状态，例如下面是查看筛选包含nova关键字的服务。
systemctl --all | grep nova
查看进程端口等信息
- 查看所有进程消息
netstat -tulpn
- 查看进程信息包含 mysql 的进程
netstat -tulpn|grep mysql
卸载软件
yum remove 软件名称
查看日志
- Hadoop 的日志通常都在
$HADOOP_HOME/logs下，可以使用tail命令进行对日志尾部进行输出。
查看所有相关服务状态
- 例如查看所有nova的相关服务
systemctl -a|grep nova
修改系统时间
- 修改日期为 2021年3月11日
date -s 2021/03/11
- 修改时间为 10:38:29
date -s 10:38:29
- 写入CMOS
clock -w
修改 Linux 用户密码
- 修改当前用户密码
passwd
- 修改指定用户密码，注意需要提升到 root 权限才能修改。
passwd 指定用户名
切换 Linux 用户
su 用户名
递归修改目录下所有文件或目录的owner和group。
- 例如修改 /opt/hadoop 下所有文件或目录，owner 设置为 hadoop，group 设置为 wheel。
chown hadoop:wheel -R /opt/hadoop
遇到 Permission Deny 如何解决。
（1）确保当前用户对该文件或目录拥有权限，可以使用以下命令进行查看。
ls -l
（2）使用 chown 权限修改文件或目录的owner。
（3）使用 chmod 命令修改文件或目录的权限。
- 例如hadoop用户对脚本没有执行权限
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rw-r--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
- 通过运行 chmod 命令进行修改，获取执行权限。
[hadoop@nodea9999 sbin]$ chmod -744 start-hdp.sh
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rwxr--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
如何清除 HDFS 回收站内容
- 立即从文件系统中删除过期的检查点
hadoop fs -expunge
如何不经过回收站直接删除 HDFS 文件
hdfs dfs -rm -skipTrash 文件路径