Hadoop大数据集群部署实战 Part 4 - 搭建 Hadoop 开发环境

2021-05-17

文章导航
Hadoop大数据集群部署实战 Part 4 - 搭建 Hadoop 开发环境
【版本】
【实验名称】
【实验目的】
【实验环境】
【实验资源】
【实验步骤】

Hadoop大数据集群部署实战 Part 4 - 搭建 Hadoop 开发环境

【版本】

当前版本号v20210416

版本	修改说明
v20210416	修正一些拼写错误
v20210401	初始化版本

【实验名称】

Hadoop Part 4 - 搭建 Hadoop 开发环境

【实验目的】

掌握 JDK 的安装和环境变量的设置
掌握 IDEA 的安装和使用
掌握 Maven 的安装、配置和使用命令

【实验环境】

Windows 7 以上64位操作系统

【实验资源】

软件资源

链接：https://pan.baidu.com/s/1xYCO5mT2mxZGkda6j3mtdg
提取码：heis

项目代码

链接：https://pan.baidu.com/s/1DcLksXdp_xbqv1fOBeF-UA
提取码：heis

【实验步骤】

在 Windows 解压jdk8.zip。此处以解压到d:\jdk8为例。安装完结束以后目录架构如下：目录架构如下：

d:\jdk8
  |-bin/
  |-lib/
  |-include/
  |-jre/            
  |-legal/
  |-javafx-src.zip  
  |-jmc.txt
  |-src.zip
  |-COPYRIGHT
  |-release
  |-LICENSE
  |-README.html

进入Windows的环境变量配置界面，配置以下环境变量。如果系统C盘会还原，每次重启电脑都需要配置此环境变量。注意修改 JDK 的安装目录为你实际安装目录。

#新增
JAVA_HOME=D:\jdk8
CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

#修改PATH，在PATH环境变量原有值后面追加
;%JAVA_HOME%\bin;

打开Windows 的命令行终端，运行以下命令，测试是否有JDK的版本输出。

java -version

运行intellij-idea-community-portable-win64-2020.3.2-46-setup.exe，指定目录安装 IDEA，这里以d:\idea为例。安装完成以后目录架构如下：

d:\idea
  |-app/
  |-CHANGELOG.md
  |-data/
  |-intellij-idea-community-portable.exe
  |-intellij-idea-community-portable.sample.yml
  |-log/
  |-portapp.json
  |-portapp.json.bak
  |-portapp-prev.json
  |-README.md

编辑d:\idea\app\bin目录下的idea.exe.vmoptions和idea64.exe.vmoptions，在文件末尾加上以下代码，让 IDEA 默认使用UTF8编码。

-Dfile.encoding=UTF-8

解压apache-maven-3.6.3-bin.zip，这里以解压到d:\maven363为例。

d:\maven363
  |-bin/      
  |-boot/     
  |-conf/     
  |-lib/      
  |-LICENSE   
  |-NOTICE    
  |-README.txt

在 Maven 的目录下新建一个repos文件夹，把repos-hadoop.zip解压到repos目录下。

d:\maven363
  |-repos
      |-解压位置

编辑d:\maven363\conf\settings.xml文件。在约54行修改本地仓库（localRepository）路径配置。这里注意修改为你的 Maven 的实际安装路径。

<settings ...>
...
<localRepository>D:/maven363/repos</localRepository>
...
</settings>

编辑d:\maven363\conf\settings.xml文件。在约148行<mirrors>标签内增加远程仓库镜像地址。开发过程中依赖的 Jar 包可以通过配置从此地址下载。

如果电脑无法联网，可以修改指向内网的仓库镜像。

<!-- 选择你的实验室相对应的镜像进行配置，不要全部复制！ -->
<!-- 302实验室 start -->
<mirror>
  <id>maven-public</id>
  <mirrorOf>*</mirrorOf>
  <name>maven-public</name>
  <url>http://192.168.2.10:8081/repository/maven-public</url>
</mirror>
<!-- 302实验室 end -->
<!-- 306实验室 start -->
<mirror>
  <id>maven-public</id>
  <mirrorOf>*</mirrorOf>
  <name>maven-public</name>
  <url>http://192.168.6.10:8081/repository/maven-public</url>
</mirror>
<!-- 306实验室 end -->
<!-- 307实验室 start -->
<mirror>
  <id>maven-public</id>
  <mirrorOf>*</mirrorOf>
  <name>maven-public</name>
  <url>http://192.168.7.10:8081/repository/maven-public</url>
</mirror>
<!-- 307实验室 end -->
<!-- 308实验室 start -->
<mirror>
  <id>maven-public</id>
  <mirrorOf>*</mirrorOf>
  <name>maven-public</name>
  <url>http://192.168.1.50:8081/repository/maven-public</url>
</mirror>
<!-- 308实验室 end -->

如果电脑可以联网，可以修改指向阿里云的仓库镜像。

<mirror>
  <id>nexus-aliyun</id>
  <mirrorOf>*</mirrorOf>
  <name>Nexus aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

进入Windows的环境变量配置界面，配置以下环境变量。

#新增
MAVEN_HOME=D:\maven363

#修改PATH，在PATH环境变量原有值后面追加
;%MAVEN_HOME%\bin;

打开Windows 的命令行终端，运行以下命令，测试是否有Maven的版本输出。

mvn -version