Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux).docx

Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux) 在这篇讲义中，我们将学习如何在Windows和Linux系统上部署Hadoop-3.2.0单点集群。我们需要安装Java JDK环境，否则Hadoop无法正常工作。 1. SSH 免密登录 在安装Hadoop之前，我们需要配置SSH免密登录。执行ssh-keygen -t rsa命令，接着一路回车执行，直到生成密钥。然后，将公钥追加到authorized_keys文件中，查看/root/.ssh/文件夹中生成的一系列文件。 2. Java JDK 环境安装 Hadoop需要Java JDK环境的支持，因此我们需要安装Java JDK。在Linux系统上，我们可以使用rpm命令卸载已有的Java JDK版本，例如rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64。然后，我们可以从Oracle官网下载JDK 8的安装包，上传到Linux系统，解压缩并配置环境变量。 3. Linux 单机部署 在Linux系统上，我们可以部署Hadoop单点集群。我们需要安装Java JDK环境，然后解压缩Hadoop安装包，修改Hadoop的Java配置路径，配置环境变量，修改配置文件core-site.xml和hdfs-site.xml。我们可以格式化Hadoop系统，启动Hadoop服务，检测进程，并创建测试文件夹。 3.1. Java JDK 安装 在安装Hadoop之前，我们需要安装Java JDK环境。我们可以从Oracle官网下载JDK 8的安装包，上传到Linux系统，解压缩，并配置环境变量。 3.2. Hadoop 2.7.1 部署 我们需要解压缩Hadoop安装包，修改Hadoop的Java配置路径，配置环境变量。然后，我们需要修改配置文件core-site.xml和hdfs-site.xml。我们可以格式化Hadoop系统，启动Hadoop服务，检测进程，并创建测试文件夹。 3.3. Hadoop 3.2.0 部署 在Hadoop 3.2.0版本中，我们可以使用新的配置文件format。我们需要解压缩Hadoop安装包，修改Hadoop的Java配置路径，配置环境变量。然后，我们需要修改配置文件core-site.xml和hdfs-site.xml。我们可以格式化Hadoop系统，启动Hadoop服务，检测进程，并创建测试文件夹。 在这篇讲义中，我们学习了如何在Windows和Linux系统上部署Hadoop-3.2.0单点集群。我们学习了如何安装Java JDK环境，如何配置Hadoop的Java配置路径，如何修改配置文件core-site.xml和hdfs-site.xml等。