Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux).docx
Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux) 在这篇讲义中,我们将学习如何在Windows和Linux系统上部署Hadoop-3.2.0单点集群。我们需要安装Java JDK环境,否则Hadoop无法正常工作。 1. SSH 免密登录 在安装Hadoop之前,我们需要配置SSH免密登录。执行ssh-keygen -t rsa命令,接着一路回车执行,直到生成密钥。然后,将公钥追加到authorized_keys文件中,查看/root/.ssh/文件夹中生成的一系列文件。 2. Java JDK 环境安装 Hadoop需要Java JDK环境的支持,因此我们需要安装Java JDK。在Linux系统上,我们可以使用rpm命令卸载已有的Java JDK版本,例如rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64。然后,我们可以从Oracle官网下载JDK 8的安装包,上传到Linux系统,解压缩并配置环境变量。 3. Linux 单机部署 在Linux系统上,我们可以部署Hadoop单点集群。我们需要安装Java JDK环境,然后解压缩Hadoop安装包,修改Hadoop的Java配置路径,配置环境变量,修改配置文件core-site.xml和hdfs-site.xml。我们可以格式化Hadoop系统,启动Hadoop服务,检测进程,并创建测试文件夹。 3.1. Java JDK 安装 在安装Hadoop之前,我们需要安装Java JDK环境。我们可以从Oracle官网下载JDK 8的安装包,上传到Linux系统,解压缩,并配置环境变量。 3.2. Hadoop 2.7.1 部署 我们需要解压缩Hadoop安装包,修改Hadoop的Java配置路径,配置环境变量。然后,我们需要修改配置文件core-site.xml和hdfs-site.xml。我们可以格式化Hadoop系统,启动Hadoop服务,检测进程,并创建测试文件夹。 3.3. Hadoop 3.2.0 部署 在Hadoop 3.2.0版本中,我们可以使用新的配置文件format。我们需要解压缩Hadoop安装包,修改Hadoop的Java配置路径,配置环境变量。然后,我们需要修改配置文件core-site.xml和hdfs-site.xml。我们可以格式化Hadoop系统,启动Hadoop服务,检测进程,并创建测试文件夹。 在这篇讲义中,我们学习了如何在Windows和Linux系统上部署Hadoop-3.2.0单点集群。我们学习了如何安装Java JDK环境,如何配置Hadoop的Java配置路径,如何修改配置文件core-site.xml和hdfs-site.xml等。




剩余21页未读,继续阅读
- 粉丝: 1
我的内容管理
展开
我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏
我的下载
下载帮助
前往需求广场,查看用户热搜最新资源
- robomaker-jvm-1.4.2-sources.jar
- reconf-client-1.6.9-sources.jar
- inspectorscan-jvm-1.4.77-sources.jar
- jeap-spring-boot-db-migration-starter-it-17.28.0.jar
- iottwinmaker-jvm-1.3.71-javadoc.jar
- nunaliit2-auth-common-0.1.8.1-sources.jar
- easyconfiguration-feature-text-4.0.6-sources.jar
- http-client-engine-okhttp-1.0.16-javadoc.jar
- panorama-jvm-1.5.1-javadoc.jar
- qapps-jvm-1.4.79-sources.jar
- transfer-jvm-1.1.9.jar
- qldbsession-jvm-0.17.9-beta-sources.jar
- gen_2.11-dj.jar
- annotation-1.5.0.jar
- greengrassv2-jvm-1.2.31.jar
- nimble-jvm-1.2.56-javadoc.jar


信息提交成功