客户报修说X3650 M4重装系统装不上我从机房赶到现场折腾一番发现根本不是硬件故障——两块新硬盘插在位上了但阵列卡根本还没“认”它们。IBM X3650 M4这种机器和普通PC完全是两套逻辑硬盘必须先由服务器自带的ServeRAID阵列卡接管、组成RAID阵列操作系统才有机会看到盘不组阵列Windows安装程序连一个磁盘都扫不到。这篇就把我在X3650 M4上做RAID阵列的完整过程、界面差异、驱动加载和后续巡检经验一次性写透给机房运维、二手服务器玩家以及准备给这台机器重装系统或者扩展存储的朋友当个实操手册。不是纸上谈兵都是我踩过坑之后整理出来的东西。1. 裸盘装系统为什么不行X3650 M4的阵列卡与硬盘之间的关系1.1 机器标配的ServeRAID M5110在中间扮演什么角色X3650 M4虽然是一台已经退出市场多年的老服务器但存量非常大很多机房到现在还在用它跑业务、做测试、当备份机。它和普通台式机最大的区别就是硬盘不是直接插在主板的SATA控制器上而是先插到机箱的SAS背板再通过SAS线缆接到一张独立的阵列卡上。这张卡在X3650 M4上的常见型号是ServeRAID M5110或者半高的M5110e少数高配机型会看到M5210。M5110的主控芯片是LSI SAS 2208板载缓存通常512MB或1GB还能配BBU电池或Flash Power模块。它的角色相当于一个“交通警察翻译官”所有物理盘的读写请求都要经过它它把若干物理盘按你设定的规则组成一个虚拟盘Virtual Drive简称VD然后把VD呈递给CPU和操作系统。操作系统从头到尾只认识这个VD物理盘长什么样、有几块、分别插在哪个槽位对操作系统来说是不可见的。这个设计带来一个直接结果如果你只是一块一块地把硬盘插进盘位不做RAID配置那么Windows、Linux、ESXi安装程序都会告诉你“找不到任何磁盘”。这不是硬件坏了也不是安装盘有问题而是你还没让阵列卡把物理盘变成一个可供系统使用的逻辑卷。1.2 不组阵列直接插盘JBOD困境和“盘去了哪里”不少第一次接触这台机器的朋友会问能不能不做RAID就把硬盘当普通移动硬盘那样直接用答案是能但很别扭而且不推荐。在阵列卡的逻辑里一块新盘的初始状态叫“Unconfigured Good”UG中文界面里有时显示为“良好未配置”。意思是阵列卡已经看到这块盘了但它不属于任何VD所以操作系统看不到。还有一种更麻烦的状态叫Foreign外来配置表示这块盘之前在别的机器或别的阵列卡上组过阵列带着一套旧配置信息。这时阵列卡会谨慎处理不会让你直接把它当成新盘而是提示你需要Import导入或Clear清除配置。有些厂商的阵列卡在BIOS里提供了一个“Enable JBOD”选项打开后可以让物理盘不组RAID而直接直通给操作系统。X3650 M4的M5110部分固件版本也支持这个功能。但我在实际项目中几乎不用JBOD原因有两个一是JBOD模式下这块盘没有任何冗余保护盘坏了数据就没了和单机直插硬盘没有区别二是JBOD盘在阵列卡上处于旁路状态一些智能报警、一致性检查、重建机制对它是失效的出了问题你往往是最后一个知道的。既然都上服务器了还是老老实实组RAID哪怕只求一个可靠。1.3 盘位数量对规划的影响X3650 M4的盘位布局有几个常见版本做阵列之前先搞清楚自己手头这台到底有几个盘位非常关键。最常见的是8个2.5英寸热插拔SAS/SATA盘位正面看是一排抽屉式硬盘托架对应背板上的盘位编号从0到7。也有16盘位的高密度版本前面板是两层硬盘托架甚至还有少数24盘位的配置主要靠额外的硬盘背板扩展。另外还有一大类使用3.5英寸大容量硬盘的机型更适合文件存储、冷备但盘位数量通常更少。盘位数量直接决定了你“能不能同时做系统阵列、数据阵列、还额外留一块热备盘”。举个例子一台8盘位的机器如果你想用两块盘做RAID1装系统剩下的6块做RAID10数据盘那就正好是8块盘全用完没有热备盘了。如果你还想留一块热备数据盘就得缩减成4块做RAID10剩余2块做系统RAID11块热备总共7块盘。这些决策在做阵列之前就要想清楚不然创建到一半发现盘位不够又得推倒重来。顺便说一个我踩过的坑同一台机器里尽量不要混插不同转速、不同容量的硬盘做同一个VD。比如两块10K SAS和一块15K SAS混在一起阵列卡会以最低性能的那块盘为准不同容量组RAID5时可用容量按最小容量盘计算剩下的大容量空间虽然还能见到但利用率很低。最稳妥的做法是同一个VD里的硬盘尽量同品牌、同型号、同容量、同转速。2. 进入阵列卡配置界面的两种姿势F1 Setup和CtrlH2.1 先看懂开机自检画面上弹出的提示按下X3650 M4的电源键接好显示器建议用机器后方的VGA接口开机自检时注意屏幕上的提示。IBM机器的特点是启动Logo阶段会提示按F1进入UEFI Setup而阵列卡自带的Option ROM在加载时可能会弹出一行关键提示Press CtrlH to Run MegaRAID Configuration Utility如果看到了这行字说明这台机器当前处于传统BIOSLegacy启动模式并且阵列卡的Option ROM正常加载了你可以在提示期间直接按CtrlH进入MegaRAID BIOS配置工具也就是大家常说的WebBIOS界面。但你会发现很多时候这行提示就是不出现。屏幕上只有IBM Logo和F1提示无论怎么按CtrlH都没反应。这时候不要怀疑键盘也不要怀疑卡坏了大概率是机器处在UEFI启动模式。这个差异几乎坑过每一个第一次碰这台机器的人后面我会把两种模式怎么进配置界面分别讲清楚。2.2 姿势一UEFI模式下用F1进Setup配存储如果自检过程中没有CtrlH提示那就走UEFI的标准化路径开机出现IBM Logo时按F1进入UEFI Setup界面。用方向键选择“System Settings”系统设置回车进入。在子菜单中选择“Storage”存储。进入后能看到本机配置的SAS控制器通常是“ServeRAID M5110”或“MegaRAID SAS-2 2208”之类的名称。回车进入该控制器的主菜单就能看到New Configuration新建配置、Clear Configuration清除配置、Physical Drive Management物理盘管理等选项。UEFI界面下的操作逻辑和传统WebBIOS非常接近只是入口移到了UEFI Setup里面键盘操作也是一样的方向键移动回车确认空格键选中。对于不熟悉英文界面的朋友UEFI模式下某些固件版本还提供中文菜单不过绝大多数中文资料还是对照英文界面写的。我个人的习惯是优先用UEFI界面做配置因为它的菜单结构更清晰而且避免了老WebBIOS在某些分辨率下显示不完整的尴尬。2.3 姿势二传统BIOS模式下CtrlH进WebBIOS如果自检时出现了Press CtrlH提示按下CtrlH进入的就是经典的LSI MegaRAID BIOS配置工具。界面是深蓝色的顶部会列出控制器型号、固件版本甚至直接显示BBU电池状态。这个界面里最常用的菜单有这么几个Configuration Wizard创建、清除、导入配置是主入口。Virtual Drive Management查看和管理已经建好的虚拟盘。Physical Drive Management查看物理盘状态、槽位、容量、转速。Controller Selection当机器里有多张阵列卡时切换选择。WebBIOS的操作方式同样不复杂。创建阵列的主路径是Configuration Wizard → New Configuration → Manual手动→ 从左侧物理盘列表勾选硬盘 → Add to Array → Accept DK → 进入Span定义只有RAID10/50/60需要→ 进入Virtual Drive Definition设置RAID级别、条带大小、缓存策略 → Accept → 初始化。这段路径我会在第4章一步步展开这里先建立一个整体概念。2.4 为什么同一个型号的机器按出来的界面不一样这是个很常见的问题同一批X3650 M4有的按CtrlH能进有的按不出来是不是配置不一样其实核心原因就是启动模式。我记得有一台机器从上一任运维手里接过来时Windows Server 2012 R2一直装不上后来发现机器被设置成了UEFI Only启动模式而系统镜像还是用旧方式做的引导盘两个问题叠加在一起。这种机器即使你按碎CtrlH也没用正确做法是进F1 → Startup Options或Boot Manager里确认当前是UEFI还是Legacy Boot Mode。如果机器设置的是UEFI模式阵列卡的Legacy Option ROM通常不会加载所以CtrlH提示不出现只有把启动模式改成Legacy并在阵列卡设置里启用Option ROM才能用CtrlH进WebBIOS。反过来如果你是UEFI引导安装系统进阵列配置界面就走F1 → System Settings → Storage。建议配置阵列、重装系统这种场景下不要让启动模式干扰你。先在F1里看清当前是什么模式再选择对应的阵列配置入口比我上面说的所有快捷键都重要。3. RAID级别与条带大小把磁盘变成靠谱存储的决策表3.1 常用RAID级别在X3650 M4上的真实表现做阵列之前最纠结的往往是选哪个RAID级别。这里不整那些教科书理论直接用一张表把X3650 M4上最常见的几个级别讲清楚RAID级别最少盘数可用容量容错能力随机读性能随机写性能典型场景RAID01N无高高临时缓存、计算中间数据RAID1250%允许坏1块略提升与单盘相当系统盘、核心配置盘RAID53(N-1)允许坏1块较好受校验影响文件服务器、备份卷RAID64(N-2)允许坏2块较好更慢大容量数据、安全要求高RAID10450%每组镜像允许坏1块高高数据库、虚拟化核心卷这里面有一个经常被误会的点RAID5的写性能。很多人觉得RAID5有三块以上盘写性能怎么也比单盘强。实际上由于每次写入都要计算并更新校验数据写入路径比RAID10长得多在随机写入密集的业务下表现并不好。而RAID10是“先镜像后条带”写入时两块盘要冗余写入但不需要计算校验所以随机写性能反而更好。再解释一下容量计算。RAID5的可用容量是N-1×单盘容量比如4块2TB盘组RAID5可用约6TB允许坏1块RAID6是N-2×单盘容量4块2TB盘可用约4TB允许坏2块RAID10是N/2×单盘容量4块2TB盘可用约4TB允许每个镜像组坏1块。3.2 条带大小和读写速度的关系创建VD时界面里会要求选择Strip Size条带大小M5110通常提供64KB、128KB、256KB、512KB、1MB这几个选项。很多朋友直接跳过用默认值其实这个参数对后续性能影响不小。我用一个通俗的类比来解释把整个VD想象成一排货架条带大小就是每个货架格的容量。格子小摆放零散小件货物方便适合随机、小粒度的读写格子大适合整批整箱搬货也就是顺序读写。数据库这类应用大量随机读写条带设得太大会导致一次IO读取跨越盘数变少性能上不去文件备份这类顺序读写条带设太小又会导致IO操作过于频繁。我自己的经验值仅供参考系统卷装Windows、Linux64KB。数据库数据卷SQL Server、Oracle128KB。虚拟化存储卷存放虚拟机镜像128KB。文件共享、备份、视频类大文件存储256KB或512KB。有一点要提前说清楚条带大小一旦在创建VD时确定后期在MegaRAID界面上是不能直接改的只有删除重建这一条路。所以创建之前最好想清楚你的VD将来主要干什么活。如果拿不准选128KB是多数业务下的安全中间值。3.3 全局热备盘到底要不要浪费一个盘位全局热备盘Global Hot Spare是阵列卡层的一个备用物理盘。当阵列里某块盘出现故障时阵列卡会自动把这个热备盘接入故障盘所在的VD并开始重建数据整个过程不需要人工插拔盘。对于没法随时到机房的场景这个功能很有价值。操作上在WebBIOS里选中一块未配置的物理盘右键或通过界面上的菜单选择“Assign Global Hot Spare”即可用命令行工具MegaCli64也能实现命令是“MegaCli64 -PDHSP -Set -PhysDrv [E:S] -aALL”。热备盘容量有个硬性要求必须不小于它可能要顶替的那块阵列成员盘的容量否则重建时可能因为空间不足而失败。要不要留热备盘取决于你的盘位余量和业务等级。如果是8盘位、所有盘都组了阵列没有富余位置那就不留。这时候你的冗余就完全靠RAID级别本身扛——比如RAID6允许坏两块盘这就给换盘留出了足够时间。如果有富余盘位我建议生产环境一定留一块全局热备盘成本就是一块硬盘的钱换来的是故障后自动接管不用半夜爬起来去机房换盘。3.4 我的推荐方案结合X3650 M4最常见的8盘位2.5英寸机型我给出三套方案分别对应不同场景方案A通用生产侧重性能2块盘做RAID1装系统建议用SSD或10K SAS容量不用太大系统盘150GB到300GB足矣剩下6块盘里拿4块做RAID10放数据库或业务数据最后留2块做全局热备盘。这样系统、数据、冗余都有保障缺点是数据容量不大适合业务量中等、读写要求高的环境。方案B数据容量优先2块SSD做RAID1装系统6块大容量NL-SAS或NAS盘做RAID6放文件可用空间大且RAID6允许同时坏两块盘安全等级高。不单独留热备盘靠RAID6冗余扛一盘故障故障后尽快更换新盘。这个方案适合备份服务器、文件服务器。方案C16盘位高密度16盘位的机器空间富裕很多。系统2块SSD做RAID1核心数据8块盘做RAID10再拿2块做全局热备盘剩下的4块盘可以先配置为空闲状态以后扩容或做其他阵列直接使用。我自己在项目里最常用的是方案A。理由很直白RAID5虽然利用率高但重建时间越来越长重建期间如果再坏一块盘整个阵列直接崩溃RAID10和RAID6则能给你更充足的反应时间。容量和性能的账最终要按数据价值来算。4. 手把手创建RAID阵列从清空配置到初始化完成4.1 清除历史遗留阵列配置如果你这台X3650 M4是二手、退役或从其他环境调拨过来的第一步不是创建新配置而是先清理历史遗留配置。这个步骤省不得否则新盘插上去后界面会提示“Foreign Configuration”外来配置让你选择Import还是Clear而且磁盘状态始终处于Foreign创建向导根本不能正常进行。在WebBIOS里清理配置的路径是Configuration Wizard → Clear Configuration → 确认。操作前务必想清楚Clear Configuration会删除阵列卡上保存的逻辑卷信息相当于这些盘重获“新盘”身份盘上数据将无法直接使用。如果你确定盘里没有需要恢复的数据才执行清除。还有一种情况是磁盘上存在旧的Foreign配置但阵列卡界面里不显示Clear option。这时可以先去Foreign View里预览选择“Clear Foreign Configuration”。有些固件版本在启动自检时会自动检测到Foreign并弹窗询问直接选清除或导入。我的原则是旧数据已经不重要了就清除重要的话先别做任何操作用镜像工具把盘整个备份出来再处理。4.2 创建新配置并挑选磁盘下面这条路径是WebBIOS的标准流程UEFI界面下的Storage菜单里逻辑也基本一致可以对照操作进入Configuration Wizard选择“New Configuration”新建配置然后点“Manual”手动而不是Automatic。Manual模式让你精确控制哪些盘参与阵列避免误把闲置盘和系统盘混在一起。界面左侧会列出所有物理盘右侧是已经选入阵列的盘。用方向键移动到目标硬盘按空格键标记选中然后选择“Add to Array”加入阵列。选好盘之后点击“Accept DK”接受该阵列确认这一组盘作为后续RAID的基础。如果需要RAID10或RAID50/60会进入Span Definition阵列段定义界面。这步很多人第一次接触很晕但记住一点RAID10需要至少两个组每组两块盘组成镜像对。例如8块盘做RAID10Span0放前4块Span1放后4块每组内部再自动做镜像。M5110的界面默认会帮你把盘平均分到两个Span你也可以手动调整尽量让两组盘分散在不同的背板通道上。进入Virtual Drive Definition虚拟盘定义界面选择RAID级别、条带大小、VD容量。如果只建一个VD容量选全部即可如果同一个阵列里想分出多个不同容量的VD这个概念叫“阵列再分卷”在前面选容量时手动输入需要的值。设置读取策略、写入策略、磁盘缓存策略3.2和4.4里已有详细说明给VD起一个容易识别的名字比如“VD0-OS”或“DATA-RAID10”方便后期在系统里和管理界面对号入座。4.3 初始化方式后台初始化与前台初始化的权衡VD创建完成后阵列卡会询问你要不要立即初始化。初始化选项里通常有Fast Init快速初始化、Background Init后台初始化和Full Init全盘初始化三种。Fast Init字面意思是“快速初始化”实际上只是在逻辑层把VD标记为已初始化底层并不会立刻把每一块磁盘都写成零。它对新盘、无数据风险的场景最省时间建完VD之后马上就能装系统。Background InitBGI则是后台慢慢对整个VD做一致性初始化创建完成后VD也可立即使用但接下来几个小时甚至更长时间里阵列会在后台持续做IO业务读写会感受到一定性能波动。Full Init会从头到尾完整初始化VD时间很长而且期间不建议把它投入生产优点是一旦初始化完成整个阵列就在一个“干净、一致”的状态。考虑到X3650 M4通常不承载那种不容许停机的现代化核心业务我的习惯是系统盘和临时数据卷用Fast Init或Background Init装完系统正常用重要数据阵列如果时间允许选择Full Init或者等系统装好后手动触发一次一致性检查确保逻辑层没有问题。4.4 写策略、读策略、缓存策略怎么设置创建VD时Write Policy写策略、Read Policy读策略、Disk Cache Policy磁盘缓存策略三个参数一定要主动设置不要用默认值一路回车。写策略是最关键的一项。Write Back回写的意思是数据先写入阵列卡自己的缓存由阵列卡稍后再落盘性能非常好Write Through透写则是数据直接写入物理盘不经过控制器缓存“中转”写性能会明显下降。问题在于Write Back模式下控制器缓存里有数据还未落盘这时如果断电缓存里的数据就有可能丢失。所以阵列卡必须依赖BBU电池维持掉电保护BBU状态必须是Optimal控制器才允许你启用Write Back。我在现场遇到最多的一个坑是阵列卡电池没充好电、或者状态显示Charging用户明明在系统里把Write Policy改成Write Back阵列卡却自动降级回Write Through结果数据库写入性能一落千丈。用MegaCli64查一下“MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL”看到BBU状态是Optimal才放心开Write Back。读策略方面顺序读为主的业务选Read Ahead预读随机读为主的业务选No Read Ahead不预读混合负载可选Always Read Ahead但缓存命中率不高的场景收益有限。我通常默认选Read Ahead因为现在操作系统和数据库自己也做了大量读缓存阵列卡的预读不会造成太大副作用。磁盘缓存策略建议固定为Disabled。原因很简单物理盘自带的那一小块DRAM写缓存如果断电会丢数据而且阵列卡层面无法感知它丢了哪个扇区对一致性保护不利。关闭磁盘缓存虽然会让单盘缓存写入少了一层但换来了可控的断电安全边界。企业级SSD如果明确带掉电保护电容可以考虑打开但生产环境我依然保持Disabled。5. 装系统时找不到硬盘十个运维九个遇到过的驱动问题5.1 为什么会“找不到任何磁盘”阵列建好之后接下来最磨人的就是系统安装阶段“找不到硬盘”。症状非常典型Windows安装程序进入“选择要安装的驱动器”界面下面空无一物磁盘总容量显示为0MB或者设备管理器里出现一个带黄色感叹号的“存储控制器”。这时候很多人的第一反应是阵列没建好重启回去看阵列卡配置发现VD明明存在而且状态正常。问题到底出在哪原因其实很纯粹Windows安装镜像自带的驱动程序库不包含X3650 M4这种老服务器阵列卡的专用驱动。Windows Server 2012 R2发布时年代还不算太远理论上认识LSI 2208这些主流控制器但IBM的OEM版本和某些固件组合下系统就是无法直接识别。Linux和ESXi情况稍微好一点因为内核里集成了megaraid_sas和lsi_mr3等模块但ESXi 6.x之后的版本对老控制器支持开始收紧偶尔也会出现装不上驱动的现象。解决思路就一句话在Windows安装程序“选择磁盘”这一步先加载厂商提供的RAID控制器驱动系统识别到VD之后磁盘列表自然就出来了。5.2 Windows安装时加载驱动的完整步骤我用Windows Server 2012 R2装X3650 M4的完整过程举个例子Windows Server 2016、2019、2022的逻辑完全一样先把Windows安装介质U盘或光驱接入服务器开机选择从该介质引导。正常走到“自定义安装”界面你会看到“选择要安装的驱动器”列表此时通常是空的。点击界面左下角的“加载驱动程序”Load Driver按钮。在弹出的对话框里点击“浏览”定位到存有RAID驱动的U盘目录。注意Windows安装程序浏览U盘时只会识别包含驱动inf文件的文件夹所以要确保驱动解压后的目录层次不要太深最好直接放在U盘根目录下新建的“drivers”文件夹内。安装程序会扫描并列出匹配的驱动选择包含LSI MegaRAID SAS-2 2208或ServerRAID M5110字样的条目点击下一步系统会装入驱动。装完驱动后磁盘列表会重新刷新这时应该能看到一个未分配的VD空间继续分区安装即可。如果加载驱动后磁盘列表还是空的建议按顺序排查确认VD确实在阵列卡界面里存在换一个USB接口优先插机器背后的USB 2.0口因为老机器UEFI阶段对USB 3.0兼容性不好确认驱动是64位版本32位驱动在64位系统安装程序里不会被识别确认U盘格式不是NTFS在某些老固件下读不出来最好改成FAT32。5.3 驱动下载和U盘准备认准ServeRAID/MegaRAID别下错包驱动去哪下载IBM退出x86服务器业务后X3650 M4的驱动和固件都移交给了联想Lenovo的支持站点。搜“X3650 M4 ServeRAID M5110 Windows Server 2012 R2 driver”就能找到。驱动包里一般会提供Windows Server 2008 R2、2012、2012 R2甚至更新版本的驱动目录。下载时认准关键字“ServeRAID”或“MegaRAID”对应的操作系统版本要选对。这里必须提一句同样是LSI/Avago芯片Dell、华为、IBM的服务器驱动封装并不通用。我知道很多朋友上网一搜“RAID驱动”结果下载下来一个Dell的包文件名类似“w2012r2_5.xxx_6.602.07.00_a00_zpe”专门给PowerEdge服务器用的。这种包在Dell机器上直接拿来没问题但拿到IBM X3650 M4上装安装程序大概率会提示“驱动不匹配”或者签名信息对不上。除非你想折腾底层破解否则老老实实去IBM/Lenovo支持站下载这台机器自己对应的OEM驱动。U盘准备工作不用做得太复杂不用量产成软驱也不用刻意做启动盘。直接把驱动包解压后的文件夹整个拷贝到U盘根目录确认里面有Windows驱动对应的inf文件就可以在Windows安装界面里浏览到它。常见错误是驱动包解压出来嵌套好几层目录直接浏览到U盘根目录安装程序一扫提示“找不到设备驱动”把路径指向最内层包含inf的那个文件夹就行。5.4 RHEL/CentOS等Linux安装时的处理Linux下安装系统相对省心。RHEL 7、CentOS 7及以上版本的安装程序内置了megaraid_sas模块通常开机引导到安装界面时就能直接看到磁盘。如果你用的是比较老的RHEL 6.x版本或者阵列卡固件太新才可能出现识别不到盘的情况。Linux安装时识别不到盘的处理方式一般是在启动参数里加上“modprobe.blacklist某某”或直接加载厂商驱动后重建initrd但日常项目里最常用的方法更简单在安装界面无法识别磁盘时切换到终端一般是CtrlAltF2手动执行“modprobe megaraid_sas”如果模块加载成功再切回图形安装界面刷新一下磁盘列表往往盘就出来了。如果是Debian/Ubuntu系处理思路类似模块名不同时用“lspci -k”查一下当前使用的驱动模块。另外提醒一个和阵列本身无关但经常一起出现的坑UEFI模式下安装Linux时分区通常要求用GPT而且引导方式要匹配。如果装完系统后开机卡在引导界面检查BIOS里的Boot Mode和安装时的分区表是否一致别让Legacy启动模式去读GPT分区。6. 阵列建好之后的验证与日常维护别等到磁盘灯全闪才发现6.1 用MegaCli64/StorCLI查看阵列状态与重建进度阵列创建完、系统装好不等于就万事大吉了。我见过太多机器建完阵列后几年没人看直到硬盘报警才发现RAID5里已经坏了两块盘数据彻底没救。所以日常巡检是必须的。最趁手的工具是MegaCli64这是LSI/Broadcom为MegaRAID系列控制器提供的命令行管理工具。M5110使用2208主控MegaCli64完全支持。Linux下可以下载对应RPM包安装Windows下把解压后的可执行文件放到一个固定目录用管理员命令行调用。常用命令整理成一张表目的命令查看所有虚拟盘状态MegaCli64 -LDInfo -LALL -aALL查看所有物理盘状态与健康MegaCli64 -PDList -aALL查看BBU电池状态MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL查看控制器整体信息MegaCli64 -AdpAllInfo -aALL设置写策略为WriteBackMegaCli64 -LDSetProp -WB -LALL -aALL查看热备盘MegaCli64 -PDList -aALL看Spare Type字段PDList输出里有一组关键字段Media Error Count介质错误数、Other Error Count其他错误数、Predictive Failure Count预测性故障数后两项大于0就要警惕一旦持续增长或出现黄色报警尽快准备替换盘。新版控制器一般推荐用StorCLI替代MegaCli64命令风格类似。M5110这种老卡在某些固件下用storcli不一定识别我一般会先跑“storcli /c0 show all”如果报错再用MegaCli64两条腿走路更稳妥。阵列卡报警后还要会看重建进度。如果热备盘已经接管某块坏盘阵列卡会自动重建数据。用“MegaCli64 -PDRbld -ShowProg -PhysDrv [E:S] -aALL”可以查到重建完成的百分比。重建期间尽量不要给这台机器压太多业务否则重建时间会被拖得很长理论上重建期间再坏一块盘的风险会随重建时间增加而变大。6.2 用ipmitool对硬件健康的补充监控X3650 M4的管理芯片是IMM2Integrated Management Module 2配好管理IP后可以用ipmitool远程查看硬件状态。这里要把ipmitool和MegaCli64的职责分清楚MegaCli64管的是阵列卡这一层的RAID逻辑ipmitool管的是BMC层的硬件健康、系统事件、电源、风扇、温度。我在Linux服务器上常用这两条命令ipmitool -I lanplus -H IMM_IP -U 用户名 -P 密码 sel elist查看IMM2的系统事件日志磁盘掉线、电源故障、温度过高等事件都会记录在这里。ipmitool -I lanplus -H IMM_IP -U 用户名 -P 密码 sensor list查看各传感器的实时数值比如CPU温度、主板温度、风扇转速、电压。实际巡检经验是如果某块磁盘即将坏掉MegaCli64的PDList里会先出现Media Error Count增长之后IMM2的SEL里可能会记录到SAS Error事件。两个工具配合起来你就能在故障扩大之前有所动作。日常脚本巡检可以定时抓取sel和PDList一旦出现异常就往群里发告警。6.3 读写速度实测影响性能的几个隐藏因素阵列建好之后很多人喜欢第一时间测一下读写速度。Linux下最简单的测试方法是写一个1GB或2GB的文件再读回来。写测试dd if/dev/zero of/mnt/test bs1M count2048 convfdatasync读测试dd if/mnt/test of/dev/null bs1M count2048Windows下用CrystalDiskMark这类工具测更直观。实测结果如果不理想先别急着怀疑硬盘按下面这几个隐藏因素逐一排查第一写策略是否被降级。这是最常见的元凶。前面反复强调过BBU不OK时WriteBack会被强制变成WriteThrough数据库写性能直接掉一截。查写策略状态可以用“MegaCli64 -LDGetProp -Cache -LALL -aALL”。第二后台初始化或一致性检查是否还在跑。新建完阵列立即测速结果往往会低于预期因为BGI或CC占用了大量内部IO带宽。看看MegaCli64输出里的BGI/CC进度跑完再测。第三条带大小与业务模式是否匹配。同样是顺序写大文件256KB条带通常比64KB条带表现好反过来4K随机IO场景大条带不一定占便宜。条带设置只能在创建VD时决定所以创建前要想好用途。第四是否混用了不同转速或不同型号的盘。阵列的写性能会被最慢的那块盘拖累组阵列时务必统一。第五控制器固件版本过旧。老固件的队列深度、调度算法都不如新固件优化去Lenovo支持站找对应控制器的固件更新更新时注意保留现有配置一般升级固件不会动VD配置但操作前备份配置信息更稳妥。6.4 报警、掉盘、预测性失败的应对思路最后讲一下最让人紧张的环节磁盘报警。正常情况下阵列卡检测到某块盘出现预测性故障Predictive Failure时会让该盘位的指示灯变成琥珀色甚至闪烁系统里PDList会显示该盘状态为“Predictive Failure”或“Failed”。如果配了热备盘故障盘报警后热备盘会自动开始重建这时候不要慌也不要立刻把故障盘拔出来。等热备盘重建结束再找时间下线故障盘并更换换下来的盘如果还在保修期内就返修不在保修期直接处理掉。如果没有热备盘RAID5或RAID6处于降级状态Degraded这时候机器还在运行但冗余已经少了一层。动作要快准备好一块容量不小于故障盘的新盘直接热插拔替换故障盘槽位新盘插上去后阵列卡会自动把它设置为重建目标开始重建。这里有一个细节如果新盘插上去后显示为Foreign说明这张盘以前在其他控制器上被人用过在MegaCli64里操作“-CfgForeign -Clear”或去WebBIOS里Clear Foreign Configuration让它回到未配置状态然后再把它加入重建。日常巡检建议按周或按月执行一次脚本把MegaCli64的PDList和IMM2的sel抓下来留档。一旦发现Media Error Count、Predictive Failure Count持续增长立刻准备替换盘不要等到阵列彻底下线才抢救。热备盘并不是万能的它只解决“盘坏了自动接管”的问题解决不了“你根本不知道盘坏了”的问题。最后说点我个人经验。X3650 M4做RAID阵列真正让我长记性的不是建阵列本身而是建完之后那张“配置小抄”。以前有一台机器过保后换盘运维记录没写清楚盘位对应关系现场只能一趟趟从机柜抽出来看灯。后来我给每台服务器机箱内侧贴一张标签写上阵列卡型号、RAID级别、盘位顺序、热备盘槽位、BBU状态、IMM管理IP。换盘、扩容、重建时看一眼标签省下的时间远超写标签那五分钟。另外调WriteBack之前一定先查BBU状态这条建议帮我避过好几次潜在风险。希望这篇内容对正在折腾X3650 M4的你有点用也欢迎在评论区交流你自己的阵列维护经验。