步骤 | 详细说明 |
---|---|
1. 准备环境 | 选择一台满足Hadoop运行要求的物理机或虚拟机,安装Linux操作系统(如CentOS、Ubuntu等)。确保网络畅通,关闭防火墙和SELinux。 |
2. 安装Java | 下载Java安装包,解压后执行安装脚本。配置环境变量,确保java -version 命令可以正常输出版本信息。 |
3. 下载Hadoop | 访问Hadoop官网下载Hadoop安装包,选择适合自己Linux版本的安装包。 |
4. 解压Hadoop | 将下载的Hadoop安装包解压到指定目录,例如/opt/hadoop 。 |
5. 配置Hadoop环境变量 | 在~/.bashrc 或/etc/profile 文件中添加以下内容:export HADOOP_HOME=/opt/hadoop 、export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 。 |
6. 修改Hadoop配置文件 | 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh 文件,设置Java安装路径:export JAVA_HOME=/usr/local/java 。 |
7. 配置Hadoop核心文件 | 修改$HADOOP_HOME/etc/hadoop/core-site.xml 文件,添加以下内容:```xml |
``` |
| 8. 配置HadoopHDFS文件 | 修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
文件,添加以下内容:```xml
``` |
| 9. 格式化HDFS | 执行以下命令格式化HDFS:hadoop namenode -format
。 |
| 10. 启动Hadoop服务 | 启动Hadoop服务,包括NameNode、DataNode和SecondaryNameNode。可以使用以下命令:```bash
start-dfs.sh
start-yarn.sh
``` |
| 11. 测试Hadoop环境 | 使用hdfs dfs -ls /
命令查看HDFS根目录,确保Hadoop环境运行正常。 |
| 12. 配置SSH免密登录 | 为了方便后续操作,配置SSH免密登录。在客户端和服务器端执行以下命令:```bash
ssh-keygen -t rsa
ssh-copy-id username@hostname
``` |
| 13. 安装并配置Hadoop客户端 | 在其他节点安装Hadoop客户端,并配置hadoop-env.sh
、core-site.xml
和hdfs-site.xml
文件。确保hadoop
命令可以在客户端执行。 |
| 14. 使用Hadoop | 在客户端使用hadoop fs -ls /
等命令操作HDFS,使用hadoop jar
命令运行MapReduce程序。 |