1. 为什么要在 Windows 上折腾 Ollama 的 GPU 推理很多人第一次接触 Ollama 都是在 Windows 上装完之后发现模型能跑但速度慢得让人抓狂——一个 7B 的模型回答一句话要等十几秒风扇呼呼转但显卡占用率始终是 0%。这个现象背后其实是一个很典型的问题Ollama 默认会优先尝试 GPU 加速但如果硬件、驱动或者运行库任何一环没对上它就会静默回退到 CPU 推理而且不会给你任何明显报错。我自己最开始在 Windows 上部署 Ollama 的时候也踩过这个坑。当时机器上装了一块 RTX 3060 12G按理说跑 7B 量化模型毫无压力但实际体验下来 token 生成速度只有 5-6 tokens/s明显是 CPU 在干活。后来查了日志才发现Ollama 根本没识别到 GPU。这件事让我意识到Windows 平台上的 GPU 推理并不是装完就能用它对硬件、驱动版本、CUDA 运行库、环境变量都有比较明确的要求任何一项不满足都会导致回退。这篇内容就是把我自己在 Windows 上把 Ollama 的 GPU 推理跑通的全过程整理出来包括硬件门槛怎么判断、驱动怎么选、环境怎么配、怎么验证 GPU 真的在工作、遇到问题怎么排查。适合两类人看一类是刚接触本地大模型部署、想在 Windows 上跑得快一点的新手另一类是在公司内网或者个人工作站上做私有化部署、需要稳定 GPU 推理的从业者。内容不涉及任何特殊网络手段全部基于公开可获取的官方渠道和常规配置方法。需要先说明一点Ollama 在 Windows 上的 GPU 支持主要面向 NVIDIA 显卡AMD 和 Intel 显卡的支持情况在不同版本里差异较大本文以 NVIDIA 为主线展开AMD 部分会单独提一下现状。另外本文讨论的是推理场景不涉及模型训练和微调这两者对显存和驱动的要求完全不是一个量级。2. 硬件与驱动的硬性门槛拆解2.1 显卡选型显存比算力更关键在本地推理场景里显存容量的重要性远高于显卡的浮点算力。原因很直接模型权重必须完整加载到显存里加载不进去就只能走 CPU 或者部分卸载到内存速度会断崖式下跌。你可以把显存理解成一张桌子的桌面面积模型就是你要摊开的图纸桌面不够大图纸就只能卷起来看一部分来回翻找的效率自然低。下面这张表是我根据实际测试整理的常见量化模型对显存的需求量化等级以 Q4_K_M 为参考这是目前最常用的平衡档位模型参数量Q4_K_M 量化后大小最低显存需求推荐显存1.5B约 1.1 GB2 GB4 GB3B约 2.0 GB3 GB4 GB7B约 4.4 GB6 GB8 GB8B约 4.9 GB6 GB8 GB13B约 7.9 GB10 GB12 GB14B约 9.0 GB10 GB12 GB32B约 20 GB24 GB24 GB70B约 40 GB48 GB48 GB这里有个容易被忽略的点上表列的是模型权重占用的显存实际运行时还需要额外的显存来存放 KV Cache键值缓存和计算中间结果。KV Cache 的大小跟上下文长度直接相关上下文开得越长这部分占用越大。所以 8G 显存跑 7B 模型时如果你把上下文设到 8192 甚至更高很容易触发显存不足。我一般建议在 8G 显存上跑 7B 模型时上下文控制在 4096 以内比较稳妥。提示判断显存够不够不要只看模型文件大小。模型文件是压缩存储的加载到显存后会解压展开实际占用通常比文件大 10%-20%。2.2 驱动版本不是越新越好而是要匹配NVIDIA 显卡在 Windows 上的驱动分两个体系Game Ready DriverGRD和 Studio DriverSD。很多人默认装最新的 Game Ready但对于推理场景Studio Driver 的稳定性通常更好因为它经过了更多专业应用的兼容性测试。驱动版本的选择有个基本原则驱动自带的 CUDA 版本必须大于等于 Ollama 所依赖的 CUDA 运行库版本。Ollama 在 Windows 上打包了 CUDA 运行库但它仍然需要驱动提供底层支持。如果驱动太老CUDA 运行库调用会失败Ollama 就会回退到 CPU。怎么查当前驱动支持的 CUDA 版本打开命令行执行nvidia-smi输出右上角会显示CUDA Version: xx.x这个数字表示当前驱动最高支持的 CUDA 版本。比如显示 12.4那你的驱动就能支持所有依赖 CUDA 12.4 及以下版本的程序。我实测下来Ollama 在 Windows 上对驱动的最低要求大致是 CUDA 11.8 以上。如果你的驱动显示低于这个版本建议去 NVIDIA 官网更新。更新驱动时有个细节如果你之前装过 CUDA Toolkit 做开发更新驱动不会影响 Toolkit但反过来装 Toolkit 时要注意别覆盖掉驱动自带的运行库。2.3 系统与运行库容易被忽视的隐性依赖Windows 版本本身也有影响。Ollama 官方要求 Windows 10 22H2 及以上或者 Windows 11。老版本的 Windows 10比如 1809、1909可能能装上但 GPU 识别会出问题因为底层的一些图形接口和 WDDM 版本不匹配。另外两个隐性依赖是 Visual C Redistributable 和 Windows 的 WDDM 版本。VC 运行库很多软件都会装一般不会缺WDDM 版本可以通过dxdiag查看Windows 10 22H2 一般是 WDDM 2.7 以上Windows 11 是 WDDM 3.0 以上这个版本决定了系统对 GPU 计算任务调度的能力。还有一个经常被忽略的点如果你用的是笔记本且带双显卡集显 独显需要确保 Ollama 使用的是独显。Windows 的图形设置里可以针对每个程序指定使用哪块 GPU路径是设置 → 系统 → 显示 → 图形设置把 ollama.exe 添加进去并设为高性能。这一步不做的话Ollama 有可能被分配到集显上那 GPU 推理就无从谈起了。3. Ollama 在 Windows 上的安装与 GPU 识别机制3.1 安装包选择与安装路径的坑Ollama 在 Windows 上的安装包是一个标准的 exe双击安装即可。安装过程本身没什么难度但有两个细节值得注意。第一个是安装路径。默认会装到用户目录下的AppData\Local\Programs\Ollama这个路径本身没问题但如果你后续要手动配置环境变量或者替换某些文件路径里有空格和特殊字符会带来麻烦。我一般建议保持默认不要改到中文路径或者带空格的路径下。第二个是安装完成后 Ollama 会自动注册为开机启动的服务并在后台常驻。这个设计对日常使用很方便但在调试阶段可能会造成困扰——你改了环境变量但后台服务还是用旧的环境在跑。调试时建议先退出 Ollama托盘图标右键退出改完配置再重新启动。安装完成后打开命令行执行ollama --version能正常输出版本号就说明基础安装没问题。但这时候还不代表 GPU 能用需要进一步验证。3.2 Ollama 的 GPU 探测逻辑理解 Ollama 怎么探测 GPU对排查问题非常有帮助。Ollama 启动时会做几件事调用 NVIDIA 的 NVML 库随驱动一起安装枚举系统中的 NVIDIA 显卡检查显卡的计算能力Compute Capability是否在支持列表内尝试加载 CUDA 运行库初始化 CUDA 上下文如果以上任何一步失败记录日志并回退到 CPU这个逻辑意味着即使你有 NVIDIA 显卡如果计算能力太老比如低于 5.0Ollama 也会拒绝使用。常见的支持情况是 GTX 10 系列及以上计算能力 6.1都没问题更老的卡就悬了。查看 Ollama 的日志是排查 GPU 问题的第一手段。日志位置在%LOCALAPPDATA%\Ollama\server.log用记事本或者任何文本编辑器打开搜索 cuda、gpu、nvidia 这些关键词能看到 Ollama 在启动时对 GPU 的探测结果。如果看到类似no compatible GPUs were discovered或者inference compute devicecpu的字样就说明 GPU 没被识别。3.3 验证 GPU 是否真正参与推理光看日志还不够最直接的验证方法是跑一个模型同时用nvidia-smi观察显存和 GPU 利用率的变化。具体操作开两个命令行窗口一个执行模型推理另一个每隔一秒刷新nvidia-smi。在 Windows 上可以用nvidia-smi --query-gpuutilization.gpu,memory.used --formatcsv -l 1这个命令会每秒输出一次 GPU 利用率和已用显存。然后在另一个窗口执行ollama run qwen2.5:7b模型加载完成后随便问一个问题。如果 GPU 正常工作你应该能看到显存占用明显上升几个 GB并且在生成回答时 GPU 利用率会有明显波动从 0% 跳到 30%-80% 不等。如果显存占用几乎没变GPU 利用率始终是 0%那就是回退到 CPU 了。注意模型加载的瞬间显存会有一个峰值加载完成后会略微回落。观察时不要只看一瞬间要持续看几秒。4. 环境变量与运行参数的精细调优4.1 关键环境变量清单Ollama 在 Windows 上支持通过环境变量控制 GPU 相关的行为。这些变量在系统属性 → 高级 → 环境变量里设置或者在启动 Ollama 的脚本里临时设置。下面是我整理的一份实用清单环境变量作用推荐值说明OLLAMA_GPU_LAYERS指定卸载到 GPU 的层数-1 或具体数字-1 表示尽可能多卸载OLLAMA_NUM_PARALLEL并行请求数1-4显存紧张时设为 1OLLAMA_MAX_LOADED_MODELS同时加载的模型数1多模型会争抢显存OLLAMA_KEEP_ALIVE模型驻留时间5m 或 -1-1 表示常驻不卸载OLLAMA_HOST监听地址127.0.0.1:11434默认即可CUDA_VISIBLE_DEVICES指定使用的 GPU0 或 0,1多卡时指定序号OLLAMA_GPU_LAYERS是最关键的一个。默认情况下 Ollama 会自动决定卸载多少层到 GPU但在某些边界情况下比如显存刚好卡在临界值自动决策可能偏保守。手动设为 -1 会强制它尽可能多地卸载如果显存不够会报错这时候再逐步降低层数。4.2 显存不足时的分层卸载策略分层卸载Layer Offloading是 Ollama 处理显存不足的核心机制。简单说模型是由很多层堆叠而成的Ollama 可以把一部分层放在 GPU 上算另一部分放在 CPU 上算。GPU 算得快CPU 算得慢所以卸载到 GPU 的层越多整体速度越快。这个机制的好处是让显存不够的机器也能跑大模型代价是速度下降。我实测过一个 13B 模型在 8G 显存上的表现全部卸载到 GPU 需要约 10G 显存装不下卸载 80% 的层到 GPU剩下 20% 在 CPU速度大约是纯 GPU 的 60%-70%如果只卸载 50%速度就掉到 40% 左右了。所以策略是先尝试全部卸载如果报显存不足再逐步降低层数。具体操作是在 Modelfile 里设置PARAMETER num_gpu或者通过环境变量OLLAMA_GPU_LAYERS全局控制。Modelfile 的方式更精细适合针对单个模型调优FROM qwen2.5:14b PARAMETER num_gpu 30这里的 30 表示卸载 30 层到 GPU具体数字要根据模型总层数和显存情况调整。查看模型总层数可以在加载模型时看日志或者用ollama show --modelfile查看模型信息。4.3 上下文长度与显存的权衡上下文长度Context Length对显存的影响经常被低估。KV Cache 的大小计算公式大致是KV Cache 大小 2 × 层数 × 注意力头数 × 头维度 × 上下文长度 × 数据类型字节数这个公式看起来复杂但结论很简单上下文翻倍KV Cache 翻倍。一个 7B 模型在 4096 上下文下 KV Cache 可能只占几百 MB但开到 32768 就可能占好几个 GB。Ollama 默认的上下文长度是 2048这个值对日常对话够用但如果你要处理长文档就需要调大。调大的方式是在 Modelfile 里设置PARAMETER num_ctx 8192或者在 API 调用时传入options.num_ctx。我的建议是先确认模型权重加载后还剩多少显存再根据剩余量决定上下文长度。8G 显存跑 7B 模型权重占 4.4G系统和其他开销占 1G 左右剩 2.6G 可以给 KV Cache对应上下文大概能开到 8192。再往上就要考虑量化 KV Cache 或者换更小的模型了。5. 常见故障与排查实录5.1 GPU 完全不被识别这是最常见的问题表现为日志里完全没有 CUDA 相关的记录或者明确写着回退到 CPU。排查顺序如下第一步确认nvidia-smi能正常输出。如果这个命令都报错说明驱动有问题先解决驱动。第二步检查显卡计算能力。执行nvidia-smi --query-gpucompute_cap --formatcsv如果输出低于 5.0那这块卡基本没戏。第三步检查 Ollama 版本。老版本的 Ollama 对某些新显卡支持不好去官方发布页下载最新版覆盖安装。第四步检查是否有其他程序独占了 GPU。某些游戏、渲染软件、或者另一个 Ollama 实例可能占着显存不放。用nvidia-smi看进程列表把可疑进程关掉。第五步检查 Windows 图形设置里 Ollama 是否被指定到了集显。前面提过笔记本双显卡机器特别容易出这个问题。5.2 显存报错但实际显存够有时候日志报out of memory但你用nvidia-smi看显存明明还有富余。这种情况通常是显存碎片化或者预留机制导致的。Windows 的 WDDM 驱动模型会预留一部分显存给系统图形任务实际可用显存比标称值少。解决办法有两个一是降低OLLAMA_GPU_LAYERS少卸载几层二是关闭其他占用 GPU 的程序特别是浏览器现代浏览器硬件加速会占不少显存。我遇到过 Chrome 开着几十个标签页时 Ollama 报显存不足关掉浏览器就正常了。5.3 推理速度异常慢GPU 识别了显存也够但速度就是上不去。这种问题比较隐蔽可能的原因包括模型部分层在 CPU 上跑虽然 GPU 利用率看起来高但整体被 CPU 拖累上下文设得太大KV Cache 频繁换入换出系统内存不足导致模型加载时频繁读写页面文件显卡温度过高触发降频排查时先看nvidia-smi的 GPU 利用率曲线如果利用率忽高忽低说明有 CPU 参与如果稳定在高位但速度还是慢可能是温度问题看nvidia-smi的温度字段。另外用任务管理器看内存占用如果内存接近满载加内存条是最直接的改善。5.4 常见问题速查表现象可能原因排查方法解决方向日志无 CUDA 记录驱动太老或显卡不支持查 nvidia-smi 和计算能力更新驱动或换卡报显存不足但显存有余显存碎片或系统预留关闭其他 GPU 程序降低 GPU 层数速度慢但 GPU 占用高部分层在 CPU看日志的 offload 信息调整 num_gpu模型加载失败内存不足看任务管理器内存加内存或换小模型首次推理特别慢模型冷加载第二次推理对比设 KEEP_ALIVE 常驻多模型切换卡顿显存争抢看同时加载的模型数设 MAX_LOADED_MODELS16. 多卡与特殊硬件的处理思路6.1 多张 NVIDIA 显卡的分配如果你机器上有两张以上的 NVIDIA 显卡Ollama 默认会尝试使用所有可见的卡。但多卡推理在 Ollama 里的支持比较有限它主要是把模型的不同层分配到不同卡上而不是像专业推理框架那样做张量并行。实际效果取决于卡之间的通信带宽如果是 PCIe 4.0 x16 直连效果还行如果是通过主板芯片组转接带宽受限可能还不如单卡。控制使用哪些卡通过CUDA_VISIBLE_DEVICES环境变量set CUDA_VISIBLE_DEVICES0这样只使用第一张卡。如果要指定多张用逗号分隔。我一般建议先用单卡跑通确认没问题再尝试多卡避免引入额外变量。6.2 AMD 与 Intel 显卡的现状AMD 显卡在 Windows 上的 Ollama 支持主要通过 ROCm 或者 DirectML 后端。ROCm 在 Windows 上的支持一直比较有限主要是 Linux 为主DirectML 后端在较新版本的 Ollama 里有实验性支持但性能和兼容性都不如 NVIDIA 路线稳定。Intel 显卡包括 Arc 系列和集显通过 oneAPI 或者 DirectML 支持同样处于实验阶段。如果你手头只有 AMD 或 Intel 显卡建议先确认 Ollama 版本是否包含对应后端然后做好性能不如预期的心理准备。从实际体验看同价位下 NVIDIA 显卡在本地推理上的生态成熟度明显更高。6.3 笔记本平台的额外注意事项笔记本上跑 GPU 推理有几个台式机没有的问题。首先是功耗墙和温度墙笔记本的 GPU 功耗受限长时间高负载会降频推理速度会逐渐下降。其次是显存和内存共享某些轻薄本的独显显存是通过内存共享实现的实际带宽远低于独立显存。如果你用的是游戏本一般问题不大但要注意散热。我自己的经验是连续跑一两个小时推理后笔记本 GPU 温度会到 80 度以上这时候速度会明显下降。垫高笔记本底部、用散热支架能改善一些。另外电源模式要设为高性能平衡模式下 GPU 会被限制功耗。7. 我踩过的坑和几条实用建议第一个坑是驱动自动更新。Windows 的驱动自动更新有时候会给你装一个版本很老的驱动特别是重装系统之后。这时候nvidia-smi显示的 CUDA 版本可能低到 11.0 以下Ollama 直接不认。解决办法是去 NVIDIA 官网手动下载最新驱动安装时选择自定义安装并勾选执行清洁安装把旧驱动彻底清掉。第二个坑是环境变量不生效。前面提过Ollama 是后台服务改了系统环境变量后必须重启服务才生效。而且如果你是通过托盘图标退出的有时候进程没完全退出需要去任务管理器确认 ollama.exe 和 ollama app.exe 都结束了再重新启动。第三个坑是模型下载慢。Ollama 的模型仓库在国内访问速度不稳定大模型动辄几个 GB下载中断是常事。我的做法是先用ollama pull拉取如果中断了就重新执行Ollama 支持断点续传不会从头开始。另外可以关注一些国内的镜像源但要注意甄别来源可靠性。第四个坑是盲目追求大模型。很多人一上来就想跑 70B结果显存不够只能大量卸载到 CPU速度比小模型还慢。我的建议是从 7B 或 8B 起步确认 GPU 推理链路完全跑通再根据实际需求和硬件条件往上加。对大多数日常任务7B 级别的模型已经够用了。最后分享一个判断 GPU 是否值得折腾的简单标准如果你的显卡显存大于等于 8G且是 NVIDIA 的 GTX 10 系列及以上那 GPU 推理带来的速度提升通常是 5-10 倍非常值得配置。如果显存只有 4G 或者更少那能跑的模型很有限GPU 加速的收益可能不明显不如直接用 CPU 跑小模型来得省心。硬件这东西够用就好没必要为了跑某个特定模型去硬凑配置。