1. Hadoop非高可用集群部署概述
在当今大数据处理领域，Hadoop作为分布式系统基础架构，其集群部署方式直接影响着数据处理能力和系统可靠性。非高可用（Non-HA）集群部署是Hadoop最基础的架构模式，特别适合预算有限、对服务中断容忍度较高的开发测试环境。
我曾在多个中小型数据分析项目中采用这种部署方式，它的核心特点是所有关键服务（如NameNode、ResourceManager）都采用单节点运行。与高可用集群相比，这种架构省去了ZooKeeper仲裁、JournalNode日志同步等复杂组件，使得部署过程简化了约60%。但要注意，当NameNode节点宕机时，整个HDFS将不可用，这是设计之初就需要明确的取舍。
典型应用场景包括：
- 企业内部数据分析沙箱环境
- 大数据教学与培训实验室
- 功能验证和原型开发环境
- 数据量在100TB以下的离线批处理场景
2. 环境准备与系统配置
2.1 硬件资源配置建议
根据我的踩坑经验，即使是测试环境也不应该忽视硬件配置。曾经有团队在4核8G的虚拟机上部署Hadoop集群，结果在跑TPCx-HS基准测试时直接OOM崩溃。推荐的最低配置：
| 节点类型 | CPU核心 | 内存 | 磁盘 | 网络 |
|---|---|---|---|---|
| Master节点 | 8核 | 32GB | 500GB SSD系统盘 | 10Gbps |
| Slave节点 | 16核 | 64GB | 4TB HDD+1TB SSD | 10Gbps |
| Client节点 | 4核 | 16GB | 500GB HDD | 1Gbps |
特别注意：所有节点必须配置NTP时间同步服务，我在实际运维中遇到过因3秒时间差导致MapReduce任务卡死的案例。
2.2 操作系统调优
在CentOS 7.9上的优化配置（Ubuntu/Debian需调整命令格式）：
# 关闭透明大页 echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag # 调整文件描述符限制 echo "* soft nofile 65536" >> /etc/security/limits.conf echo "* hard nofile 65536" >> /etc/security/limits.conf # 禁用swap swapoff -a sed -i '/swap/s/^/#/' /etc/fstab # 优化内核参数 cat <<EOF > /etc/sysctl.d/hadoop.conf vm.swappiness = 1 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv4.tcp_syncookies = 1 fs.file-max = 6815744 EOF sysctl -p /etc/sysctl.d/hadoop.conf3. Hadoop组件安装与配置
3.1 软件版本选型
经过多个生产环境验证，我推荐以下稳定组合：
- Hadoop 3.2.4（2023年12月最新稳定版）
- OpenJDK 1.8.0_382（注意：Hadoop 3.x需要Java 8+）
- Apache Maven 3.6.3（仅编译时需要）
下载地址建议使用国内镜像：
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz3.2 核心配置文件详解
关键配置文件位于$HADOOP_HOME/etc/hadoop/目录，以下是必须修改的配置项：
core-site.xml：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> </configuration>hdfs-site.xml：
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/data/hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/datanode</value> </property> <property> <name>dfs.blocksize</name> <value>256m</value> </property> </configuration>mapred-site.xml：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.application.classpath</name> <value>$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*</value> </property> </configuration>yarn-site.xml：
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>57344</value> </property> </configuration>4. 集群启动与验证
4.1 初始化与启动流程
首次启动需要格式化NameNode（注意：该操作会清除所有数据）：
hdfs namenode -format启动HDFS服务：
start-dfs.sh启动YARN服务：
start-yarn.sh验证服务状态：
# 检查NameNode hdfs dfsadmin -report # 检查YARN yarn node -list # 检查所有Java进程 jps4.2 基准测试与性能调优
运行Teragen测试数据生成：
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar teragen 100000000 /benchmark/teragen常见性能瓶颈及解决方案：
DataNode磁盘I/O瓶颈：
- 症状：datanode日志出现"Slow waitForAckedSeqno"警告
- 解决方案：在hdfs-site.xml中增加
<property> <name>dfs.datanode.max.transfer.threads</name> <value>16384</value> </property>
YARN内存分配问题：
- 症状：Container被Killed，日志显示"Container killed by YARN for exceeding memory limits"
- 调整方案：
<property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>57344</value> </property>
5. 运维监控与故障处理
5.1 关键监控指标
建议监控以下核心指标（可通过Prometheus+Granafa实现）：
| 指标类别 | 关键指标 | 报警阈值 |
|---|---|---|
| HDFS | MissingBlocks | >0持续5分钟 |
| UsedSpacePercentage | >85% | |
| YARN | PendingApplications | >10持续10分钟 |
| AvailableMB | <10%总内存 | |
| System | CPU_Load | 15min平均>80% |
5.2 常见故障处理手册
问题1：NameNode无法启动
- 现象：日志显示"Unable to load fsimage"
- 处理步骤：
- 检查hdfs-site.xml中dfs.namenode.name.dir路径权限
- 确认磁盘空间充足（df -h）
- 尝试恢复上次元数据：
hdfs namenode -recover
问题2：DataNode不注册
- 现象：hdfs dfsadmin -report显示DataNode数量不足
- 排查流程：
- 检查DataNode日志中的连接错误
- 验证master节点9000端口连通性：
telnet master 9000 - 确认所有节点hosts文件一致性
问题3：YARN任务卡住
- 现象：任务长时间显示ACCEPTED状态
- 解决方案：
- 检查ResourceManager日志：
tail -n 100 $HADOOP_HOME/logs/yarn-root-resourcemanager-*.log - 调整调度器配置：
<property> <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> <value>0.5</value> </property>
- 检查ResourceManager日志：
6. 安全加固与备份策略
6.1 基础安全配置
启用Kerberos认证（可选但推荐）：
<property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property>配置网络ACL：
<property> <name>dfs.block.access.token.enable</name> <value>true</value> </property>
6.2 元数据备份方案
建议的NameNode元数据备份策略：
# 每日增量备份 hdfs dfsadmin -fetchImage /backup/nn_image_`date +%Y%m%d` # 每周全量备份 hdfs dfsadmin -saveNamespace tar -zcvf /backup/nn_full_`date +%Y%m%d`.tar.gz /data/hadoop/namenode配合crontab实现自动化：
0 3 * * * hdfs dfsadmin -fetchImage /backup/nn_image_`date +\%Y\%m\%d` 0 3 * * 0 hdfs dfsadmin -saveNamespace && tar -zcvf /backup/nn_full_`date +\%Y\%m\%d`.tar.gz /data/hadoop/namenode7. 从非HA升级到HA的路径规划
当业务增长到需要高可用时，可参考以下迁移路径：
准备阶段：
- 新增2个JournalNode节点（奇数个）
- 安装配置ZooKeeper集群（至少3节点）
配置变更：
<property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property>切换流程：
hdfs namenode -initializeSharedEdits hdfs zkfc -formatZK
整个升级过程建议在业务低峰期进行，预估停机时间约30分钟。我在金融行业客户的实际迁移中，通过预先准备切换脚本，将停机时间压缩到了8分钟。
