先交代一下我的处境。手里这台笔记本是 ThinkBook 14CPU 是 i7-12700H显卡只有核显Intel Iris Xe 96EU没有独显。内存 32GB DDR5-4800双通道。因为平常要研究本地部署大模型、还想跑 DeepSeek-R1、Qwen、Llama 这类开源模型又不愿意为了一个实验去买几千块的显卡我就开始拿这台 Intel 核显机器折腾。整个过程谈不上顺利踩坑记录我能写满一页纸。但反过来讲只要理解了核显的脾气用核显跑中小规模大模型其实完全可行日常问答、文档总结、本地小知识库、代码补全都够用。我写这篇文章就是想把完整的踩坑过程和解决方案整理出来给那些跟我一样没有独显、又想在本地部署大模型的人一条能直接照做的路。这篇文章涉及的工具主要是 Ollama、llama.cpp、Open WebUI也会说为什么 Intel 核显的路线不能照抄 NVIDIA 独显教程以及瓶颈到底在哪。适合两类人看一是纯新手想第一次在 Intel 核显电脑上跑通大模型二是跑通之后想进一步优化速度、接入 API 做自己应用的进阶用户。1. 为什么核显也能跑大模型先把瓶颈算清楚1.1 我的机器与动机先说我的实际动机。一是隐私很多东西我不太想传到云端本地部署能让我放心把内部笔记、代码片段扔进去做问答二是成本现在是个人项目验证阶段买显卡性价比太低三是好奇心我就想知道 Intel 核显在 2025 年这个时间点到底能跑多大参数、多快。如果你也在用轻薄本、办公本、迷你主机配置大致是 i5/i7 Intel Iris Xe 或者 UHD 核显那么这篇文章里的场景基本可以对照着参考。我自己折腾完的感受是7B 到 8B 级别的小模型是核显的甜点位14B 级别能跑但要有耐心32B 以上别抱幻想。很多人在这一步就被劝退了因为他们默认“跑大模型必须要有 NVIDIA 显卡”。这个观点一半对一半错。如果要训练、微调或者跑超大模型确实得上独显甚至多卡但如果目标只是本地推理核显的算力并没有差到完全不能看真正的命门在内存带宽上。1.2 核显跑大模型的真瓶颈是内存带宽我最早以为大模型推理慢是因为“显卡算力不够”折腾一圈才发现对单机本地部署来说内存带宽才是天花板。大模型生成文本是自回归过程每生成一个 token都要把整个模型的权重扫一遍。模型权重越大扫一遍需要搬运的数据就越多。你不需要把这个过程想得太玄可以类比成模型每说一个字都要临时把整本参考书从头翻一遍才能决定下一个字说什么。翻书的速度就是内存带宽。假设一个 7B 模型用 Q4_K_M 量化后权重文件大小约 4.7GB。机器内存带宽是 76.8GB/s双通道 DDR5-4800 的理论值那么理论上限大约是理论最大 token 速度 内存带宽 / 模型权重大小 76.8 / 4.7 ≈ 16 token/s但这是理想值实际还有内存延迟、操作开销、上下文缓存读取、部分计算放在 CPU 上等因素所以最终稳定在 7 到 10 token/s 是很正常的。如果是单通道内存带宽直接砍半速度也会掉到 3 到 5 token/s这就是很多核显用户觉得“根本没法用”的真相。关键结论核显跑大模型卡还是不卡首先看内存是否双通道、频率是否够高算力虽然是影响因素之一但在 7B 模型场景下往往不是第一瓶颈。1.3 别好高骛远核显合适的模型范围既然知道了带宽公式就可以很客观地推断适合的模型范围。我自己实测下来觉得7B 到 8B 模型的 4bit 量化版本是核显的最佳选择。原因很简单权重文件 4.5 到 5GB内存扛得住速度不会慢到让人烦躁。14B 模型的 4bit 量化版本大约 9GB内存大于 24GB 可以稳定跑但生成速度大概只有 3 到 5 token/s适合离线批量总结或者不那么赶时间的问答不适合作为交互式聊天主力。32B 级别就算内存装得下也在 20GB 左右速度会掉到 2 token/s 以下每问一句都要等半分钟基本失去交互意义。更不要想着在 Intel 核显上做微调哪怕用 LoRA训练过程需要来回读写梯度和中间状态带宽需求比单纯推理高得多核显跑起来只是折磨自己。一句话总结预期核显用户老老实实跑 7B~14B 的量化模型本地部署这件事就能成立。至于网上那些“核显跑 70B”的视频要么是极致量化加超长等待要么就是标题党。2. 工具怎么选绕开 CUDA 第一课2.1 Ollama 对 Intel 核显支持到什么程度Ollama 是目前最流行的本地部署工具因为它漂亮地解决了“模型下载、依赖管理、运行命令”这三件麻烦事。正常情况下你只需要一条命令就能跑起模型非常方便。但在 Intel 核显设备上Ollama 并不是“装完就自动用上核显”的开箱体验。NVIDIA 有 CUDAAMD 有 ROCm这些是各家的私有计算框架Intel 这边主要的计算通路是 oneAPI 和 Vulkan。Ollama 在 Windows 上对 NVIDIA 支持最成熟对 AMD 的支持也逐步跟上而 Intel GPU 的支持是这几个版本里才慢慢补上来的依赖的是 Vulkan 后端。所以我的建议是直接用最新版 Ollama不要拿网上旧教程里的参数生搬硬套。装好之后用ollama ps命令看模型到底跑在 CPU 还是 GPU 上这是最直接的验证方式。后面我会专门写怎么判断。如果发现 Ollama 最新版仍然没有把模型放上核显那也不要硬刚。更稳的方案是转向 llama.cpp 的 Vulkan 版本这个我后面会说。2.2 兜底方案llama.cpp Vulkanllama.cpp 是社区最活跃的本地推理框架之一它的设计目标就是把大模型跑在各种低资源设备上。它不依赖 NVIDIA 专属环境而是提供一个叫 Vulkan 的通用后端。Vulkan 可以理解为显卡驱动层面的通用计算接口。只要显卡驱动支持 Vulkanllama.cpp 就能尝试调用这块显卡做计算。Intel Windows 驱动默认是带 Vulkan 支持的所以 Iris Xe、UHD、Arc 核显大概率能用。这意味着什么即使 Ollama 暂时不识别你的核显只要换成 llama.cpp 的 Vulkan 版本仍然可以手动把模型加载到核显上跑。这是一条“大路货”之外几乎必定能走通的保底路线。如果你遇到 Ollama 跑模型时 CPU 占用很高、GPU 几乎没动又不确定原因最直接的办法就是下载 llama.cpp 的 Vulkan 预编译包手动指定模型路径跑一次。理论上只要驱动正常模型就能被核显接管。2.3 Intel 的 IPEX-LLM 值不值得碰除了上面两条路线还有一个 Intel 自家的方案叫 IPEX-LLM前身是 BigDL-LLM后面改名成了 Intel Extension for PyTorch LLM。这个库对 Intel 硬件的优化非常极致支持核显、独显以及 AMX 指令集加速能在 Intel 平台实现不错的推理吞吐。如果你后续要做一些基于 Transformers 的二开、微调实验IPEX-LLM 会是很好的加速底座。但我的建议是新手第一轮不要碰。IPEX-LLM 的安装往往要跟特定版本的 Python、PyTorch、驱动匹配环境矩阵比较敏感。你打开它的安装文档一半时间在解决依赖冲突。先用自己的基础配置跑通 Ollama 或 llama.cpp 路线再考虑用 IPEX-LLM 做性能压榨会舒适得多。2.4 一张表选好自己的路线路线上手难度核显利用率适合场景Ollama 最新版低中视版本而定新手快速跑通、日常对话llama.cpp Vulkan中高可手动控制层数在 Ollama 不适配时兜底做性能调优IPEX-LLM高高官方针对性优化想基于 Intel 平台做更深入开发的人从最省事的角度出发我推荐 90% 的用户先试 Ollama装最新版跑一遍如果模型进程没有走核显再切到 llama.cpp。这个顺序不会浪费太多时间也能帮你理清问题出在工具适配还是驱动设置上。3. Windows 下的具体部署过程从 Ollama 开始3.1 部署前把这几件事先做好我不想让你在一开始的驱动问题上卡住所以先说三件必要准备。第一更新 Intel 显卡驱动。Windows 自动更新给的驱动版本不一定最新核显的计算性能和 Vulkan 支持都依赖驱动最好去 Intel 官网用驱动支持助手更新到最新版更新完重启一次。如果你在 llama.cpp 里遇到 Vulkan 初始化失败九成是驱动或 Vulkan Runtime 没装好。第二检查内存是不是双通道。任务管理器 - 性能 - 内存看插槽数量和速度。如果是“已使用 2/2”代表双通道如果是“1/1”那只能先降低预期后面再说优化。这里顺便纠正一个误区不要被 BIOS 里给核显预分配的显存大小骗了Intel 核显在 Windows 下使用的是共享内存预分配大小只是其中一部分模型需要时系统会动态分配系统内存给核显用。第三磁盘预留空间。7B 模型的 Ollama 包大约 4.7GB下载过程还会产生临时缓存给系统盘或模型目录留 20GB 以上比较稳妥。准备一个纯英文路径放 GGUF 文件也有好处后续用命令行时少遇到转义问题。3.2 拉取并运行第一个模型从官网下载 Ollama 安装包装完打开 PowerShell 或 CMD先确认版本没问题ollama --version接着直接拉取一个适合核显的模型。我用的是 DeepSeek-R1 蒸馏出来的 7B 版本作为日常推理和中文问答都很稳ollama run deepseek-r1:7b这条命令会自动下载模型然后进入交互式对话。第一次运行因为要把模型加载进内存等待时间会久一点这是正常的。之后模型会一直驻留在内存里直到超时释放。如果你的主要用途是更通用的文本生成、总结也可以换 Qwen2.5 系列ollama run qwen2.5:7b进入对话后输入一句“你好”再随便聊两句确认生成正常。这时候可以按 CtrlD 退出。这里有一个很常见的反应第一次对话觉得速度还行第二次因为模型已缓存所以更快。但不要高兴太早先确认它到底在用什么计算。3.3 如何确认真的用上了核显我一直觉得“感觉变快了”是不可靠的必须用数据确认。第一个命令是ollama psNAME ID SIZE PROCESSOR UNTIL deepseek-r1:7b a1b2c3d4e5f6 4.7GB 100% GPU 4 minutes如果 PROCESSOR 列显示的是100% GPU说明 Ollama 成功把模型放到了核显上。如果显示100% CPU说明它正在用 CPU 硬扛这种情况下你需要升级 Ollama 版本或者考虑 llama.cpp 路线。在交互对话过程中可以同时打开任务管理器点“性能”页找到 Intel Iris Xe Graphics 那个 GPU。如果推理时 GPU 的 3D 引擎占用率明显上升说明核显确实参与了计算。如果 GPU 几乎为 0而 CPU 每个核心都满载那就还是 CPU-only 模式。核显工作时的现象很有意思它的占用率未必稳定在 80% 以上有时会一跳一跳的因为每个 token 的前向计算包含大量矩阵乘法负载脉冲式出现。看到 GPU 有超过十秒的明显活动就可以放心了。3.4 给 Ollama 加上 WebUI命令行能满足实验需求但如果想长期用最好加一个 Web 界面。我推荐 Open WebUI它把聊天、上下文管理、模型切换、后来知识库功能都整合在一起了。最简单的方式是用 pip 安装pip install open-webui open-webui serve启动后浏览器打开http://localhost:8080注册一个本地管理员账号然后在设置里把 Ollama 地址填为http://localhost:11434。如果你是用 Docker 跑的 Open WebUI就不能填 localhost而要填http://host.docker.internal:11434因为容器内的 localhost 指向的是容器本身而不是宿主机。这个细节第一次用 Docker 的人经常踩。不建议第一次部署就把全套 WebUI、容器编排、Agent 平台都装齐。这个阶段目标是“跑通”先把模型、核显、Web 界面联调好再慢慢加料。4. 在核显上榨出更好速度参数与密钥4.1 GPU 层数、线程数、上下文长度怎么配合核显被识别之后参数调优就成了关键。不少人以为把模型全塞进 GPU 就一定最快实测下来这个判断在 Intel 核显上需要打个问号。llama.cpp 里有个参数叫-ngl意思是把模型多少层放到 GPU 上。设 99 代表能放多少放多少。在核显机器上全放 GPU 通常会比纯 CPU 快但如果核显算力本身一般而 CPU 核心很多也可以试让 CPU 和 GPU 协同工作。例如 7B 模型共 28 层左右可以尝试-ngl 20到-ngl 99之间的不同值看哪个速度稳定。Ollama 里的对应控制方式是创建一个带参数的模型文件FROM deepseek-r1:7b PARAMETER num_ctx 4096 PARAMETER num_gpu 99然后在同目录执行ollama create deepseek-r1-gpu -f Modelfile再运行这个新模型。还有一个容易被忽视的点是上下文长度。默认上下文可能只有 2048如果文档太长或者聊天历史太多会被截断。把上下文调到 4096 或 8192 会占用更多内存空间但能让对话更连贯。核显机型内存紧张的话优先给推理留足内存。命令行的临时设置也可以这样写进对话后输入/set parameter num_ctx 81924.2 双通道内存是质变如果让我给所有核显大模型用户排一个优化优先级内存双通道绝对排第一。我做过一次对比同样一台机器单通道模式跑 Qwen2.5 7B 只能到 4~5 token/s切到双通道后能到 8~10 token/s。这个差距比换模型、调参数都明显。原因是核显没有独立显存所有模型权重都要通过系统内存读取内存带宽直接决定每秒钟能吃进多少数据。如果你发现自己的笔记本只有一根内存条那优化空间很有限升级到双通道是第一要务。如果机器是板载内存设计刷 BIOS 看能不能调 SO-DIMM 插槽组成异步双通道实在不行就只能接受低速或者外接显卡坞做 GPU 推理了。另外也检查一下任务管理器里内存“速度”显示的是不是标称值。有的笔记本因为 BIOS 功耗配置内存会跑在比标称更低的频率上比如 DDR4-3200 只跑 2400。能进 BIOS 打开 XMP 就把 XMP 打开能带来一小截带宽提升代价是可能增加一点系统发热。4.3 如果 Ollama 不满意就用 llama.cpp Vulkan 版如果你的 Ollama 最新版始终没有调用核显那么直接换成 llama.cpp 的 Vulkan 预编译包是最省事的破局方式。先去它的 GitHub Releases 页面下载名字里带win-vulkan的 zip 包解压后能找到llama-cli.exe和llama-server.exe等文件。新版命令已经从过去的main改成了llama-cli所以别对着老教程找main.exe。准备好一个 GGUF 格式的模型放到固定目录然后执行.\llama-cli.exe -m D:\models\qwen2.5-7b-instruct-q4_k_m