ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

openrig开放式机架搭建指南:多卡GPU平台从选型到排障

openrig开放式机架搭建指南:多卡GPU平台从选型到排障 在圈子里泡久了会发现一个现象很多人把 openrig 当成一个现成产品其实它更接近一种思路——把整台主机从封闭机箱里“解放”出来让主板、显卡、电源全部裸露在一个金属框架上。我第一次见到这种开放式结构时第一反应是“这也太野了”后来真正把它用在多卡算力场景里才明白为什么很多老玩家绕不开这个方案。这篇内容就是把 openrig 的选型、搭建、走线和排障全过程梳理一遍给想自己动手的朋友一个可以直接抄作业的模板。如果你只是装一台游戏电脑那老老实实用中塔机箱就行但如果你要同时插多张显卡做 AI 推理、视频渲染、分布式计算这类高功耗负载封闭机箱里的风道和空间会立刻变成瓶颈。openrig 的价值恰恰在于它把散热、安装、升级和排障这些事全部简化成了“框架 螺丝 延长线”的组合。接下来我会从设计思路开始一直讲到买什么材料、怎么装配、出问题怎么查尽量让一个从没碰过开放式机架的人也能照着做出来。1. 为什么选择开放式机架openrig 的设计逻辑1.1 开放式结构和封闭机箱的底层区别很多人第一次看 openrig 会觉得它“不安全”因为所有硬件都暴露在外面。但换个角度想封闭机箱也不是绝对安全——它只是把风险从“容易碰坏”换成了“容易闷坏”。多卡场景下封闭机箱的问题非常具体显卡是横插在主板上的两张卡之间只有一两个槽位热风在卡与卡之间反复循环显卡背板温度轻松超过 90 摄氏度。要是机箱里再塞几块机械硬盘整个内部就是一个大型烤箱。openrig 的思路刚好相反它是用空间换散热。GPU 排成一条直线或者两排卡与卡之间留出几厘米到十几厘米的间隙冷风可以从四面八方进入热风也能直接散到环境中。这种设计几乎消除了“积热”问题也不需要为了强行压制温度去上高转速涡轮扇。更重要的是所有硬件处于可见可触的状态哪张卡风扇不转、哪根供电线快脱落、哪个电容鼓包一眼就能看出来。从维护角度讲开放式结构也有天然优势。普通机箱里换一张卡要拆侧板、松显卡固定螺丝、可能要拔掉挡板线还要小心显卡支架。openrig 里换卡就是拧两颗螺丝的事。如果你需要频繁调试硬件、刷 BIOS、换卡测试这种便利性会直接转化为时间成本的节省。1.2 这个方案适合谁不适合谁先说适合的人。第一种是有多卡算力需求的用户比如跑本地大模型、批量图片处理、3D 渲染农场这类场景对显存和算力的要求是“越多越好”用 openrig 可以大幅提高单机承载能力。第二种是喜欢玩硬件的爱好者经常折腾显卡、测功耗、自媒体装机开放式结构能让你直观看到每一瓦电用到了哪里。第三种是预算有限但想物尽其用的用户很多二手配件和共振器、延长线在封闭机箱里很难兼容openrig 能把这些配件轻松整合进来。不适合的人也很明显。如果你家里有宠物或者小孩开放式机架几乎是灾难——猫毛会被风扇吸进去小孩好奇抬手一摸就可能摸到 80 摄氏度的散热鳍片。另外如果你对噪音极度敏感openrig 通常比静音机箱吵不少因为它没有隔音棉所有风扇声音都是直接外放的桌面办公场景下需要放远一点或者专门做隔音措施。还有一个常被忽略的问题开放式机架的电气裸露度更高如果环境潮湿、灰尘大、或者经常有人走动碰触需要额外做防护。这些问题在后面我会单独讲。2. 搭建前必须想清楚的硬件选型2.1 框架材料铝型材几乎是唯一答案openrig 最常见的框架材料有三种铝型材、角钢、亚克力板。我个人强烈建议用铝型材尤其是 4040 规格的工业铝型材。原因很简单精度高、承重足、改造灵活。铝型材的槽口是标准化的配合 T 型螺母和 M8 螺丝你可以随时调整横梁位置加一块显卡支架、换一个电源固定位都不需要重新打孔。你还可以根据自己显卡的长度定制框架宽度比如三风扇显卡长度通常超过 300mm那么框架宽度至少做到 340mm 才不会让悬空部分太多。用角钢的问题在于开孔位置是固定的安装时误差大而且角钢边缘锋利走线容易被割破。亚克力板虽然好看但承重能力差多张显卡一压就会变形时间久了螺丝孔周围还会开裂。所以别在这些地方省事铝型材看着单价高实际上一次成型、省去大量返工时间反而是最省钱的选择。2.2 电源方案怎么算功率和路数openrig 的核心难点往往不在框架而在供电。多卡机的功耗是线性叠加的必须精确计算。简单公式整机功耗 CPU 功耗 主板内存功耗 显卡总功耗 外设功耗然后在这个基础上预留 20% 到 30% 的余量。举个例子如果一套配置是 8 张功耗 250W 的显卡CPU 加主板大约 200W那么整机满载功耗就是 8×250 200 2200W。按 25% 余量计算电源需要提供 2750W 左右。这时单电源方案基本不可能满足常见做法是双电源并联比如两块 1600W 电源分别负责一部分显卡和主板供电。双电源之间需要一个同步启动模组原理很简单就是让主电源开启后通过信号线触发副电源随动拉开避免开机时序错乱。还要算一下市电电流。220V 电压下2750W 的设备满载电流大约是 12.5A普通 10A 插座已经濒临极限最好接在 16A 空调插座上。如果条件不允许至少确保这条线路上没有其他大功率设备同时运行。电源线的截面积也很关键别用那种细到像耳机线的 LED 电源线至少要 1.5mm² 以上的铜芯线。2.3 显卡延长线和固定件怎么选多卡 openrig 基本都会用到 PCIe 延长线俗称 riser因为主板显卡插槽数量有限而开放式机架需要把显卡平放或者竖放。延长线有两种主流方案一种是 USB 接口型的 PCIe x1 转 x16方便灵活但带宽受限另一种是 x16 转 x16 的直插式延长线带宽更好但线材硬、弯曲空间小。如果你做的是算力测试类任务x1 带宽问题不大但如果要跑需要高频数据交换的场景比如 GPU 直通、多卡并行训练尽量用 x16 延长线或者直接上支持多卡直插的主板。还有一个常见坑很多便宜延长线的 PCB 层数不够抗干扰能力差负载一上去就黑屏。我的经验是买一线品牌或者明确标注服务器级别的延长线别为省几十块钱把整台机器搞得不稳定。固定件方面显卡的支撑条和压条是必需品。不然一张 2.5 槽厚显卡只靠挡板螺丝固定时间长了 PCB 会弯曲触点可能虚接。用铝型材的垂直槽位加装金属压条或者直接用可调高度的显卡支架都能有效分散重力。3. 分步搭建从框架到通电的完整流程3.1 框架组装先搭一个结实的“架子”拿到铝型材后先别急着拧螺丝把型材按照尺寸分类确认每一根的长度是否正确。框架的结构建议做成“双层”底层放电源中层放主板上层放显卡这样重心低、热空气往上走也不影响硬件。第一步是安装底部的四根支撑柱高度通常在 300mm 到 400mm 之间太矮的话电源散热差太高了重心不稳。第二步安装中层横梁横梁位置要根据主板的孔位精确调整不能凭感觉。建议把主板放上去先比划一下用记号笔标出安装孔位置再装 T 型螺母。第三步是装顶部的显卡固定框架也就是两根平行的横梁间距按显卡长度留好。框架结构不需要做得太复杂重点是八个角必须用角件锁死不然机器运行时风扇振动会让螺丝逐渐松动。拧螺丝时我习惯用带刻度的扭力螺丝刀铝型材锁 8N·m 左右就行太紧会滑牙太松会晃动。3.2 主板和电源上架先排电源再排信号线这个顺序很多人会忽略。先把电源固定在框架底层好处是电源线能从框架孔位直接穿到上层不会被主板挡住。双电源供电时两个电源尽量并排固定同步启动线也就几厘米不需要走很长的飞线。主板安装时要注意底部绝缘。铝型材本身是导电的主板 PCB 背面的焊点如果直接接触铝材轻则短路保护重则烧板。我的做法是在主板下方垫一层透明绝缘胶片或者用尼龙柱把主板的固定孔垫高。主板的 IO 挡板区域如果是裸露的也最好加一个辅助支架固定不然插 USB 的时候主板会往下沉。3.3 显卡安装和走线重头戏在这里显卡安装是整个 openrig 搭建里最容易出问题的一步。先把延长线的一端插到主板的 PCIe 插槽上另一端固定在显卡位的横梁上。这时候要特别注意延长线的弯曲半径很多 USB 型延长线是扁平的弯折角度过大会导致内部线路断裂安装时要留足空间。显卡插上延长线后先用挡板螺丝固定在框架一侧再用支撑条顶住显卡另一端。这一步的力度要均匀别硬掰。插供电线时要确认插头卡扣已经完全扣进显卡的供电接口很多无头供电线没有卡扣拔插时手感不清晰最容易脱落。走线是整个环节里最考验耐心的。我理解急着一开机看灯珠亮起来的冲动但乱走线导致的后果非常麻烦。基本原则是主电源 24pin 和 CPU 8pin 走底层显卡供电线从电源出来以后绕到框架外侧再进显卡信号线延长线、USB 线、风扇线走框架另一侧。交流和直流线尽量分离避免交流电对信号线产生干扰。4. 散热、噪音与功耗开放式机架的三道坎4.1 散热策略气流方向比风扇数量更重要openrig 散热的第一原则是“整体排风而不是对着硬件吹”。很多人会给机架四周绑上十几个风扇结果发现温度反而更高因为气流互相干扰热空气根本排不出去。我的建议是在机架一侧安装两台 12038 工业风扇作为排风扇把整个机架当做一个“敞开的静压仓”一侧进风另一侧排风。显卡自身的风扇负责把热量从散热器吹出来排风扇负责把热空气带离机架区域。如果机架靠墙放置至少要留出 20cm 以上的空隙否则出风口被堵住再强的排风扇也是白搭。环境温度对开放式机架影响极大。机架内部温度最多比室温高十几摄氏度所以空调开到 24 摄氏度和开到 30 摄氏度显卡温度能差出十度以上。夏天我一般直接把空调温度设成 24 摄氏度对硬件寿命有明显的正面影响。4.2 功耗实测不是只看电源标称功率电源标称功率是 1600W不代表你能时刻吃到 1600W。实际能输出的功率受温度、输入电压和负载分配影响。建议配一个功率计插座至少测一小时满载功耗再判断电源有没有过载。具体操作方法是先把所有显卡都跑上满载测试程序观察功率计的稳定读数。如果读数超过电源额定功率的 85%就要考虑减少负载或者换更大功率电源。还要注意双电源的负载分配别把 6 张卡的供电都压在一个电源上另一个只带主板否则轻载电源可能触发保护性关闭。4.3 噪音治理开放式机架也能不那么吵开放式机架噪音大的根源是显卡高转速风扇和开放式散热鳍片的直接传声。治理思路不是装隔音棉而是降低风扇转速和提高散热效率。简单说温度越低风扇转速就越低整体噪音自然降下来。我会给显卡做降压限频把 GPU 的功耗目标降 10%性能损失通常不到 5%但风扇转速可以减少很多。另一个办法是更换显卡风扇很多显卡用的是标准 90mm 风扇可以拆下来换高风压低转速型号。对于机架排风扇选择 PWM 调速风扇接主板根据温度动态控制转速比全速运行省心得多。5. 常见问题与排查技巧实录5.1 开机点不亮不要慌按顺序查openrig 第一次通电不亮是常态大部分不是硬件损坏而是接线和接触问题。我的标准排查流程是第一步拔掉所有显卡保留 CPU、单条内存、主板、电源通电看能不能进 BIOS。如果能进说明主板和电源没有问题如果连这一步都黑屏检查 24pin 和 CPU 供电是否插到底再检查内存是否插好。第二步插上一张显卡开机确认能够正常显示。如果这时候仍黑屏先检查 PCIe 延长线换一个插槽或者换一根线试试。显卡供电线没有插牢的概率也很高重新拔插一次听到卡扣声才算数。第三步逐步增加显卡。每增加一张就确认系统正常识别直到找到哪一张卡或者哪一个插槽导致问题。这个流程虽然慢但能快速把故障范围缩小到单一部件。5.2 显卡负载运行一段时间后掉卡掉卡是开放式多卡机里最头疼的问题。表现是跑了几分钟后某个 GPU 消失系统里看不到风扇还在转但负载为 0。原因通常有三种供电不稳、延长线信号质量差、显卡过热保护。排查供电问题可以用功率计监测整机功耗如果在掉卡的瞬间有功率剧烈波动很有可能是电源负载分配不均。延长线问题可以通过换线测试判断把掉卡的那张显卡换到另一根延长线上如果恢复正常就是线材问题。过热保护则直接看显卡温度曲线超过 105 摄氏度基本就是温控触发了需要改善散热。5.3 开机不亮但 CPU 风扇在转这个现象多半是内存或者显卡接触不良但也可能是主板找不到启动设备导致“死循环”。我会先用一颗内存单通道测试换内存插槽再检查固态盘供电和 SATA 线。还出现过一种情况开机时手碰到了机架上的金属工具瞬间静电导致主板关机保护所以操作前一定要摸一下接地金属放掉身体静电。5.4 电线发热和异味立刻断电检查如果摸到供电线明显发烫或者闻到塑料味第一时间断电不要抱有“再试试”的心态。发烫的本质是过流。要么是电源功率不足要么是线径太细要么是插头接触面积过小。检查电源线两端有没有烧黑的痕迹如果有别再复用了。防止这类问题的最好办法是在接线阶段就严格执行“一卡一供电线”的原则不要通过一分二转接线同时给两张卡供电。显卡供电接口旁边的 12V 电路负载能力有限一分二会直接超载。5.5 快速问题排查表现象优先检查项常见原因临时措施整机无反应电源开关、市电插座、24pin电源未开或短路保护触发拔掉全部负载重新上电主板灯亮但风扇不转CPU 供电线、风扇接针4pin/8pin 没插牢重新插拔并确认卡扣风扇转但无显示内存、显卡、延长线内存接触不良或显卡未识别最小系统法逐项排查进系统但认不全显卡延长线、供电线、PCIe 插槽转接线故障或供电不足单卡测试定位问题负载运行时掉卡电源分配、温度、延长线供电余量不够或过热保护降低负载并加强排风电线发热线径、插头、负载分配过流或者接触不良立即停机更换线材6. 写在最后一些关于 openrig 的真心话从第一次搭建到后来帮朋友装了几套我自己对 openrig 的态度变了很多次。刚开始觉得它就是个“光膀子”的电脑装起来快散热好但用久了会发现它的上限其实取决于你有没有把细节做好。螺丝不一定非要拧到最紧但每个角都不能松电源不一定要买最贵的但每一路负载都要算清楚延长线看着不起眼却往往是整台机器最影响稳定性的零件。如果你现在正准备搭第一套 openrig我的建议是别急着按别人的配置单照抄。先想清楚你要插几张卡、功耗大概是多少、放在什么环境里。然后再买型材和电源。这个顺序能帮你省掉很多返工的时间。最后再分享一个小技巧装好之后我习惯在机架上贴一张便利贴写上每个电源对应哪几张显卡、每条供电线是做什么的。这样每次排障不用重新捋线对着便利贴就能定位问题。有些习惯看起来很土但在半夜三点机器出故障的时候真的能让人冷静下来。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进