Hadoop系列之详细讲解基于Ubuntu 18.04.1的安装步骤

本文将介绍如何在基于Ubuntu的系统上安装多节点Hadoop 3.1.1集群，作者将在Ubuntu 18.04.1上安装一个包含HDFS的三节点Hadoop集群。

首先，我们需要为集群创建三个虚拟机，创建一个具有4个vCPU，4 GB内存和40 GB硬盘空间的Hadoop Master服务器；为每个节点创建两个带有4个vCPU，8 GB内存和40 GB硬盘空间的Hadoop节点。

本文的三台服务器安装了Ubuntu Server 18.04.1，安装了所有更新并重新启动，一定要确保使用静态IP地址和内部DNS解析配置每个服务器，或将每个服务器添加到/ etc / hosts文件。

准备运行Hadoop服务器

首先，我们需要安装Oracle Java 8，因为从Ubuntu 18.04.1开始，Java 8不再可用。

接受许可条款，并下载Hadoop二进制文件

解压缩归档并将其移至/ usr / local /

更新默认环境变量以包含JAVA_HOME和Hadoop二进制目录。

首先，我们需要知道Java的安装位置，运行以下命令查找。

如上所示，JAVA_HOME应设置为/ usr / lib / jvm / java-8-oracle / jre。

打开/etc/environment并更新PATH行以包含Hadoop二进制目录。

为JAVA_HOME变量和YARN_RESOURCEMANAGER_OPTS变量添加一行。

确保该目录与上面的update-alternatives选项减去bin/java部分的输出相匹配。

接下来，我们将添加一个hadoop用户并为他们提供正确的权限。

以hadoop用户身份登录并生成SSH密钥，只需要在Hadoop Master上完成此步骤。

接受ssh-keygen的所有默认值。

现在以hadoop用户身份登录并将SSH密钥复制到所有Hadoop节点。 同样，只需要在Hadoop Master上完成此步骤。

配置Hadoop主服务器

打开/usr/local/hadoop/etc/hadoop/core-site.xml文件并输入以下内容：

保存并退出。

接下来，打开/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件并添加以下内容：

保存并退出。

打开/usr/local/hadoop/etc/hadoop/workers文件并添加以下两行（每个Hadoop节点一行）

保存并退出。

将配置文件从Hadoop Master复制到每个Hadoop节点。

格式化HDFS文件系统

现在可以启动HDFS：

通过在所有Hadoop服务器上以Hadoop用户身份运行jps命令来验证所有内容是否正确启动。

在Hadoop Master上你应该可以看到如下结果：

在每个Hadoop节点上，你应该可以看到：

HDFS Web UI

现在，我们可以通过浏览到Hadoop主服务器端口9870来访问HDFS Web UI。

可以看到如下UI：

如上所示，我们的HDFS文件系统上有近60 GB的空闲空间。

开始运行Yarn

现在HDFS正在运行，我们已准备好启动Yarn调度程序。

Hadoop本身需要运行任务，因此我们需要Yarn以在Hadoop集群上合理安排任务。

运行以下命令以启动Yarn：

我们可以通过以下命令来验证是否可以正确启动：

没有任何正在运行的容器，因为我们还没有开始任何工作。

Hadoop Web UI

我们可以通过以下URL来查看Hadoop Web UI：

替换Hadoop Master主机名：

运行Hadoop任务示例

我们现在可以运行Hadoop任务示例并在集群上安排它，我们将运行的示例是使用MapReduce来计算PI。

运行以下命令来运行作业：

完成整个过程将需要几分钟的时间。完成后，应该可以看到它已经开始计算PI：