1. 项目背景与需求解析
去年接手了一个企业级存储服务器的运维工作，发现这台搭载LSI MegaRAID控制器的服务器中，12块企业级硬盘全部被配置为JBOD模式。这种模式下每块硬盘都是独立暴露给操作系统的，不仅无法发挥硬件RAID的性能优势，更糟糕的是完全丧失了数据冗余保护能力。对于存储重要业务数据的服务器来说，这简直是行走在数据丢失的悬崖边上。
通过和前任管理员沟通才了解到，当初为了快速上线就采用了最简单的JBOD配置。现在业务数据量已经增长到30TB+，必须立即整改为RAID阵列。经过评估，我们决定采用RAID6方案，在保证存储容量的同时提供双盘容错能力。整个改造过程需要在不停机的情况下完成，这对工具选择和操作流程都提出了严格要求。
2. 工具选型与技术准备
2.1 storcli工具详解
storcli是LSI/Broadcom/Avago官方提供的命令行管理工具，相比老旧的megacli具有更友好的交互界面和更完善的参数支持。其核心优势包括：
- 支持所有主流LSI RAID控制器（包括SAS3008、SAS3108等新一代芯片）
- 提供详细的错误码说明和日志记录功能
- 允许批量执行多条命令的脚本模式
- 输出信息采用标准化JSON格式（通过
-J参数）
在CentOS 7系统上安装最新版storcli的步骤：
wget https://docs.broadcom.com/docs/12345678 -O storcli.zip unzip storcli.zip chmod +x storcli mv storcli /usr/local/bin/2.2 硬件环境确认
执行以下命令获取控制器和硬盘信息：
storcli /c0 show all关键参数检查清单：
- 控制器型号：确认支持RAID6（如SAS3108）
- 缓存模块：至少512MB缓存且电池状态正常
- 硬盘类型：必须全部为同一类型（如SAS或SATA不能混用）
- 硬盘状态：确保所有磁盘显示为"UGood"状态
重要提示：如果存在"FBad"状态的硬盘，必须先更换硬盘并完成重建才能继续操作。
3. JBOD到RAID的转换实战
3.1 数据备份方案
虽然理论上可以直接转换，但强烈建议先做完整备份。我们采用的方案是：
- 使用LVM创建跨所有JBOD磁盘的卷组
- 生成快照：
lvcreate -s -n backup_snap -L 1T /dev/vg_data/lv_data - 通过NBD协议将快照导出到备份服务器
备份验证命令：
dd if=/dev/nbd0 bs=1M count=1024 | md5sum3.2 清除现有JBOD配置
分步执行以下命令：
# 查看当前虚拟驱动器配置 storcli /c0/vall show # 逐个删除虚拟驱动器 for vd in $(storcli /c0/vall show | awk '/^[0-9]/{print $1}'); do storcli /c0/v$vd del force done # 将磁盘从JBOD模式转为RAID就绪状态 storcli /c0/eall/sall set jbod=off force3.3 创建RAID6阵列
采用最佳实践配置12盘RAID6：
storcli /c0 add vd r6 drives=252:0-11 pdperarray=12 \ stripsize=256 WB direct CachedBadBBU \ -force参数解析：
r6: RAID级别6drives=252:0-11: 使用enclosure 252上的0-11号磁盘pdperarray=12: 单个阵列包含12个物理盘stripsize=256: 条带大小256KB（适合大文件顺序读写）WB: 写回模式（需确认缓存电池正常）CachedBadBBU: 即使BBU故障也启用缓存
3.4 阵列初始化优化
默认的后台初始化会严重影响性能，建议改用快速初始化：
storcli /c0/v0 start init fast同时设置合适的重建速率（避免影响业务）：
storcli /c0 set rebuild=30% storcli /c0 set patrolread=30%4. 性能调优与监控
4.1 关键参数调整
修改控制器高级参数提升IOPS：
storcli /c0 set cc=1 cp=1 cbm=1cc=1: 启用命令队列cp=1: 启用缓存预读cbm=1: 启用缓存bypass管理
4.2 监控方案部署
使用Telegraf采集RAID状态指标：
[[inputs.exec]] commands = ["/usr/local/bin/storcli /c0/vall show -J"] data_format = "json" name_override = "raid_status"配置Grafana监控看板，重点关注：
- 重建进度百分比
- 介质错误计数
- 缓存命中率
- PD SMART预警
5. 故障处理实录
5.1 常见错误解决
| 错误代码 | 现象描述 | 解决方案 |
|---|---|---|
| 0x00af | 磁盘未就绪 | 检查磁盘供电和SAS线缆 |
| 0x046d | 配置冲突 | 清除控制器NVRAM后重试 |
| 0x0510 | 空间不足 | 确认磁盘容量一致 |
5.2 紧急恢复流程
当出现单盘故障时的处理步骤：
- 确认热备盘状态：
storcli /c0/fall show - 标记故障盘：
storcli /c0/e252/s10 set offline - 物理更换磁盘后执行：
storcli /c0/e252/s10 insert dg=0
6. 进阶技巧分享
经过多次实战总结出几个独家经验：
在创建阵列前先对所有磁盘执行预检：
for i in {0..11}; do storcli /c0/e252/s$i show | grep -q "Media Error" && \ echo "Disk $i has media errors!" done使用脚本自动化监控重建进度：
watch -n 60 'storcli /c0/v0 show rebuild | grep -E "Progress|Status"'对于超大容量阵列（>50TB），建议分阶段初始化：
storcli /c0/v0 start init rate=10
这次改造后，存储性能提升了3倍以上，同时具备了故障容错能力。整个过程中最关键的体会是：一定要在操作前确认磁盘健康状态，并且准备好完整回滚方案。
)
