Hadoop 大数据集群部署实战课程资源汇总

文章导航

课程设计报告模板资源下载

链接：https://pan.baidu.com/s/1xYCO5mT2mxZGkda6j3mtdg
提取码：heis
复制

课程设计报告要求

课程设计报告提交截止时间和地址

后续会公布链接，请各位同学登录网站 https://heis.gitee.io/hadoop-training-summary查看。

课程内容

（1）Hadoop大数据集群部署实战 Part 1 - 模板机制作

（2）Hadoop大数据集群部署实战 Part 2 - 部署 Hadoop 完全分布模式

（3）Hadoop大数据集群部署实战 Part 3 - 部署 Hive

（4）Hadoop大数据集群部署实战 Part 4 - 搭建 Hadoop 开发环境

（5）Hadoop大数据集群部署实战 Part 5 - 使用 MapReduce 和 Hive 进行数据分析

课程设计报告提交

19级计算机2班 截止日期：2021/6/7（周一）

http://xzc.cn/dNqDFUUidd

19级计算机4班 截止日期：2021/6/21（周一）

http://xzc.cn/i8HCP37KAY

Hadoop 官方手册

官方 Hadoop 完全分布式教程

常用命令

vi/vim 命令图

查看IP地址等网络配置信息

ip a

复制

修改包括IP等网络配置命令

#如果你的网卡名为eth0
vim /etc/sysconfig/network-scripts/ifcfg-eth0
#如果你的网卡名为ens33
vim /etc/sysconfig/network-scripts/ifcfg-ens33
复制
#地址
IPADDR=10.0.0.11
#掩码
PREFIX=24
#网关
GATEWAY=10.0.0.254
#DNS1
DNS1=233.5.5.5
复制

查看某项服务状态

systemctl status 服务名称 -l

复制

查看一系列服务状态，例如下面是查看筛选包含nova关键字的服务。

systemctl --all | grep nova

复制

查看进程端口等信息

netstat -tulpn

复制
netstat -tulpn|grep mysql

复制

卸载软件

yum remove 软件名称

复制

查看日志

查看所有相关服务状态

systemctl -a|grep nova

复制

修改系统时间

date -s  2021/03/11

复制
date -s  10:38:29

复制
clock -w

复制

修改 Linux 用户密码

passwd

复制
passwd 指定用户名

复制

切换 Linux 用户

su 用户名

复制

递归修改目录下所有文件或目录的owner和group。

chown hadoop:wheel -R /opt/hadoop

复制

遇到 Permission Deny 如何解决。

（1）确保当前用户对该文件或目录拥有权限，可以使用以下命令进行查看。

ls -l

复制

（2）使用 chown 权限修改文件或目录的owner。

（3）使用 chmod 命令修改文件或目录的权限。

[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rw-r--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
复制
[hadoop@nodea9999 sbin]$ chmod -744 start-hdp.sh

复制
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rwxr--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
复制

如何清除 HDFS 回收站内容

hadoop fs -expunge

复制

如何不经过回收站直接删除 HDFS 文件

hdfs dfs -rm -skipTrash 文件路径

复制