本地部署能做什么本地部署不只是为了“炫技”它其实很适合学习和做一些低成本的小工具。从学习角度看本地部署可以帮你真正理解大模型是怎么跑起来的。比如模型文件为什么动不动十几 GB什么是 GGUF为什么有 Q4、Q5、Q8 这些量化版本显存不够的时候为什么会变慢-ngl这种参数到底在控制什么。这些东西只看文章容易云里雾里但你自己跑一次、爆一次显存、调一次参数就会清楚很多。从实用角度看本地模型也能做不少事离线写草稿、改文章、整理笔记。分析代码、解释报错、辅助写脚本。总结资料、提取结构、帮你把零散内容整理成文档。在隐私敏感的场景下处理一些不方便丢到公网模型里的内容。配合视觉模型处理截图、PDF 图片、扫描资料。最后这一点我觉得挺有意思。比如一些 PDF 是扫描版直接复制不出文字或者资料里混着大量截图。这个时候可以把页面导成图片再丢给本地小模型或视觉模型让它帮你识别、归纳、分类甚至整理成 Markdown。它不一定比云端大模型更强但胜在成本低、可反复试、数据也留在自己机器上。先理解几个核心概念本地跑大模型最先遇到的不是代码而是硬件资源。GPU 显存也就是 VRAM。显存速度很快模型权重能放进显存多少层基本决定了你的推理速度。如果显存够体验会很舒服如果显存不够就会把一部分计算放到内存和 CPU 上能跑但会慢。CPU 内存也就是 RAM。显存不够时剩下的模型层数会走内存。内存越大能容纳的模型越大但速度肯定比纯显存慢。GGUF 格式。GGUF 是现在llama.cpp生态里非常常见的模型格式适合 CPU / GPU 混合推理也方便在 Windows 上直接运行。所以我们要做的事本质上就是三步下载合适的llama.cppWindows 运行包。下载合适的 GGUF 模型文件。根据自己的显存和内存调整启动参数。下载 llama.cpp 运行时llama.cpp的官方发布页在这里https://github.com/ggml-org/llama.cpp/releases打开 Releases 页面后你会看到很多压缩包。发布版本号和文件名会持续变化不必死记完整名称Windows 用户按硬件和后端选择即可**电脑硬件**NVIDIA 显卡**推荐包**Windows x64 CUDA 版**说明**按显卡驱动选择 CUDA 12 或 CUDA 13**电脑硬件**NVIDIA 显卡依赖**推荐包**对应版本的 CUDA DLL 包**说明**与主程序包解压到同一目录**电脑硬件**纯 CPU / 无独显**推荐包**llama-bXXXX-bin-win-cpu-x64.zip**说明**能跑但速度看 CPU**电脑硬件**AMD 显卡**推荐包**Vulkan 或 ROCm 相关版本**说明**Windows 下 Vulkan 更常见**电脑硬件**Intel 核显 / 独显**推荐包**SYCL 或 OpenVINO 相关版本**说明**需要配套驱动环境如果你是 NVIDIA 显卡重点记住一句话主程序包和 CUDA DLL 依赖包要一起下载并解压到同一个目录。比如可以统一放到E:\LLMWork\llama-bin\里面应该能看到类似这些文件llama-server.exe llama-cli.exe llama-bench.exe cublas64_12.dll cudart64_12.dll如果只解压了主程序少了 CUDA 相关 DLL很容易启动失败。下载模型先选量化版本大模型原始权重通常很大27B 级别的 FP16 / BF16 模型可能要 50GB 以上。普通电脑肯定吃不消所以本地部署一般会用量化后的 GGUF 文件。常见后缀大概可以这样理解**量化后缀**IQ2_M**体积和速度**体积很小速度友好**智力保留**有损较明显但能用**适合配置**6GB / 8GB 显卡想体验大参数模型**量化后缀**IQ4_XS**体积和速度**比 Q4 更紧凑**智力保留**效果不错**适合配置**12GB 显卡或 32GB 内存**量化后缀**Q4_K_M**体积和速度**平衡点**智力保留**综合体验好**适合配置**16GB / 24GB 显卡或内存较大**量化后缀**Q5_K_M**体积和速度**更高精度**智力保留**效果更稳**适合配置**24GB 显卡或 64GB 内存**量化后缀**Q8_0**体积和速度**接近无损体积大**智力保留**效果最好**适合配置**多卡、工作站或服务器我的理解是显存只有 6GB / 8GB又想试 27B可以先看IQ2_M。想要日常体验舒服7B / 14B 的Q4_K_M往往更实际。24GB 显存以上再考虑 27B 的Q4_K_M/Q5_K_M。不要一上来就追最大模型。能稳定跑起来比参数大但卡到难受更重要。视觉模型 mmproj 是什么如果你要用 Qwen2.5-VL 这类视觉模型处理图片除了主模型 GGUF通常还会遇到一个mmproj文件。可以简单理解为主语言模型负责理解文字、生成回答。mmproj负责把图片转成模型能理解的特征。例如Qwen2.5-VL-7B-Instruct-abliterated.Q4_K_M.gguf Qwen2.5-VL-7B-Instruct-abliterated.mmproj-Q8_0.gguf这两个要配套使用。这里有个坑不要跨型号、跨参数混用 mmproj。比如 Qwen2.5 的mmproj不要拿去配 Qwen3.87B 的mmproj也不要拿去配 27B。混用很容易报Dimension Mismatch之类的错误。推荐目录结构为了后续移动、备份、写脚本都方便我建议把本地大模型相关文件放在一个固定目录里。比如E:\LLMWork\ ├── llama-bin\ │ ├── llama-server.exe │ ├── llama-cli.exe │ ├── llama-bench.exe │ ├── cublas64_12.dll │ ├── cudart64_12.dll │ └── ... ├── models\ │ ├── Qwen3.8-27B-Uncensored-IQ2_M.gguf │ ├── mmproj-Qwen3.8-27B-f16.gguf │ ├── Qwen2.5-VL-7B-Instruct-abliterated.Q4_K_M.gguf │ └── Qwen2.5-VL-7B-Instruct-abliterated.mmproj-Q8_0.gguf ├── start.bat ├── 一键启动.bat └── run.ps1llama-bin放运行时models放模型脚本放根目录。这样脚本可以用相对路径扫描模型不用每次改绝对路径。不同配置怎么选模型下面是一个比较实用的参考不需要完全照抄重点看思路。**配置**RTX 3050 / 2060 6GB 16GB/32GB 内存**推荐模型组合**Qwen2.5-VL-7B Q4_K_M**推荐 -ngl**33 左右**适合场景**日常对话、截图识别、文档整理**配置**RTX 3050 / 2060 6GB 32GB 内存**推荐模型组合**Qwen3.8-27B IQ2_M**推荐 -ngl**18 左右**适合场景**尝鲜 27B速度不会太快**配置**RTX 3060 / 4060 8GB 32GB 内存**推荐模型组合**Qwen3.8-27B IQ2_M**推荐 -ngl**24 左右**适合场景**平衡体验和大模型能力**配置**RTX 3060 / 4070 12GB 32GB 内存**推荐模型组合**Qwen2.5-14B Q4_K_M**推荐 -ngl**48 左右**适合场景**编程、写作、较流畅响应**配置**RTX 4070 Ti Super / 4080 16GB 32GB/64GB 内存**推荐模型组合**Qwen3.8-27B IQ4_XS / Q4_K_M**推荐 -ngl**40 左右**适合场景**更强的综合生产力**配置**RTX 3090 / 4090 / 5090 24GB 64GB 内存**推荐模型组合**Qwen3.8-27B Q4_K_M / Q5_K_M**推荐 -ngl**99**适合场景**更完整的本地大模型体验-ngl控制的是卸载到 GPU 的层数。层数越高越吃显存但速度也通常越快。遇到显存爆掉就把它往下调。一键启动脚本的思路手动敲llama-server参数当然可以但每次输入模型路径、端口、上下文长度、GPU 层数其实挺烦。所以更舒服的方式是写一个脚本自动扫描models目录里的.gguf文件。让你输入数字选择要启动的模型。如果是视觉模型自动找配套mmproj。根据模型类型给一个相对保守的-ngl默认值。启动llama-server。自动打开浏览器访问 WebUI。实际启动后可以看到类似这样的确认信息启动参数确认模型、mmproj、GPU 层数和上下文长度启动成功后llama-server会监听本地端口例如http://127.0.0.1:8080 http://127.0.0.1:8080/v1第一个是 WebUI第二个是 OpenAI 兼容 API 地址。也就是说后续你可以把一些支持自定义 OpenAI API 的工具接到本地模型上。实际加载日志大概是这样llama-server 加载模型并启动本地服务常见问题双击 bat 一闪而过通常是脚本编码、PowerShell 调用方式、路径里有中文或者环境变量有问题。建议在.bat里调用 PowerShell并在脚本里加上暂停逻辑。这样即使报错窗口也不会直接消失至少能看到错误信息。CUDA out of memory这是显存爆了。最直接的办法就是把-ngl调低比如从33降到28或者从24降到18。如果还是不行就换更小的量化版本或者换 7B / 14B 模型。图片上传后提示不是视觉模型一般是两个原因没有放mmproj文件。mmproj和主模型不匹配。先确认模型文件名和mmproj是同一个系列再确认启动日志里有没有加载多模态模型。生成速度很慢如果只有 1 到 2 tokens/s大概率是模型太大很多层跑到了 CPU / 内存上。这种情况不要硬撑。换小一点的模型或者换更低量化版本实际体验会好很多。国内下载地址和一键启动脚本社区模型和运行包更新很快国内镜像地址也可能调整。为了避免文章里的链接过一阵就失效我把可用的国内下载地址、目录示例和一键启动脚本单独整理了出来。公众号后台回复“本地部署”获取国内下载地址和一键启动脚本。脚本会扫描models目录中的 GGUF 文件让你选择模型和 GPU 层数遇到视觉模型时还会尝试匹配同系列的mmproj最后启动llama-server并打开本地 WebUI。说真的这两年看着身边一个个搞Java、C、前端、数据、架构的开始卷大模型挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis稳稳当当过日子。结果GPT、DeepSeek火了之后整条线上的人都开始有点慌了大家都在想“我是不是要学大模型不然这饭碗还能保多久”我先给出最直接的答案一定要把现有的技术和大模型结合起来而不是抛弃你们现有技术掌握AI能力的Java工程师比纯Java岗要吃香的多。即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇这绝非空谈。数据说话2025年的最后一个月脉脉高聘发布了《2025年度人才迁徙报告》披露了2025年前10个月的招聘市场现状。AI领域的人才需求呈现出极为迫切的“井喷”态势2025年前10个月新发AI岗位量同比增长543%9月单月同比增幅超11倍。同时在薪资方面AI领域也显著领先。其中月薪排名前20的高薪岗位平均月薪均超过6万元而这些席位大部分被AI研发岗占据。与此相对应市场为AI人才支付了显著的溢价算法工程师中专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%产品经理岗位中AI方向的产品经理薪资也领先约20%。当你意识到“技术AI”是个人突围的最佳路径时整个就业市场的数据也印证了同一个事实AI大模型正成为高薪机会的最大源头。最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】