KoboldCpp：一个文件搞定本地AI推理，聊天绘图语音全都有
【免费下载链接】koboldcppKoboldCpp - Run GGUF AI models locally with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp
KoboldCpp 基于 llama.cpp 构建，把本地 AI 推理装进一个可执行文件：下载 GGUF（llama.cpp 生态的模型打包格式）模型，双击或一条命令启动，浏览器里直接对话。聊天、角色扮演、写故事，图像、语音、音乐生成也都在同一个文件里。
它能做什么：文本、图像、语音、音乐，一个文件全装下
- 文本生成：聊天、冒险、指令、故事写作四种模式，可接入兼容的视觉模型识图（上面两张图就是视觉模型能读懂的内容）。
- 图像与视频：Stable Diffusion 1.5/SDXL/SD3/Flux 出图，WAN 2.2 等生成视频，带独立 Web 界面。
- 语音：Whisper 语音转文字，Kokoro、OuteTTS 等文本转语音，OuteTTS 还支持声音克隆。
- Agent 与工具：MCP 服务、工具调用、联网检索，内置 Agent 能写代码、跑程序。
- API：KoboldAI 原生、OpenAI 兼容、Ollama 等接口共用同一个服务端口，现有客户端改个地址就能接进来。
环境与快速上手：双击 exe 或一条命令跑起来
有 6GB 显存的独立显卡，或 16GB 内存的纯 CPU 设备，就能跑 8B 级别的 Q4 量化模型；没有显卡也没关系，只是速度慢些。
- 从官方 release 下载对应系统的可执行文件（Windows 直接下
koboldcpp.exe；无 N 卡选 nocuda 版本，老机器选 oldpc 版本）。 - 下载一个 GGUF 文本模型，模型与程序是分开的文件，不确定选什么就跳到下一节。
- Windows 双击 exe 打开启动器，在界面里选好模型点 Launch；Linux 一条命令走起：
curl -fLo koboldcpp-linux-x64 <release中的下载链接> && chmod +x koboldcpp-linux-x64 && ./koboldcpp-linux-x64- 模型加载完成后，浏览器访问 http://localhost:5001 开始用。
- 没头绪就在启动器里点 Get Help，Newbie Templates 直接给你配好模型加参数。
其他平台的从源码构建方式，见 README.md 的 Compiling 章节，此处不展开。
模型怎么选：按显存对号入座
- 8GB 显存：选 Qwen3-VL-8B 的 Q4 量化版（官方推荐的综合首选，顺带支持识图）；想轻快一点用 Gemma3-4B。
- 16GB 显存：同上 8B 模型，把上下文开大，或换更大的 14B 级模型。
- 24GB 显存：可以摸 70B 级的低量化模型了；日常使用 8B 高量化版速度最快。
- 纯 CPU：选 1B～4B 的小模型，体验可以，速度另说。
GGUF 模型在 Hugging Face 上数量极多，koboldcpp 官方的 HF 仓库里还有按用途分好的新手模板，不知道从哪下时直接照着模板抄地址。
性能调优：三个参数解决八成卡顿
- 提示词吃不下、报内存不足：上下文长度越大越吃内存，用
--contextsize调小，比如--contextsize 4096。 - 生成速度慢：说明模型层没充分交给显卡。
--gpulayers控制卸载到 GPU 的层数（默认 -1 自动估算），调大它 CPU 负担就小。实测 24G 显存跑 8B 模型开满层最稳；报显存不足就往下减。 - 纯 CPU 速度不理想：线程数设成物理核心数（
--threads），别盲目拉满。
完整参数用--help查看，不必死记。
进阶玩法（选读）
接入现有应用：OpenAI 兼容接口在http://localhost:5001/v1，把你项目的 base_url 改成这个地址、填个任意 key 即可，请求格式不变。
让模型看图：加载视觉模型时带上配套的 mmproj 投影文件：
./koboldcpp --model qwen3-vl-8b.gguf --mmproj mmproj.gguf声音克隆：跑 OuteTTS 时，把克隆好的 JSON 粘贴到界面 Settings → Media → TTS → voiceclone，叙述就用这个声音；预制的克隆音色在 examples/outetts/speakers/ 目录，用法详见 examples/outetts/readme.md。
对话模板：内置模板覆盖主流模型，一般不用管；输出胡言乱语时多半是模板不匹配，加--jinja用内置 Jinja 模板试试。更多模板见 kcpp_adapters/ 目录。
踩坑速查
- 现象：浏览器连不上 5001 端口→ 模型还没加载完，端口地址以终端最后打印的为准 → 等加载结束再刷。
- 现象：启动直接崩溃（老 CPU）→ 机器不支持 AVX2 等新指令集 → 换 oldpc 版本，或加
--noavx2启动。 - 现象：输出胡言乱语、不接话→ 对话模板与模型架构不匹配 → 加
--jinja重启。 - 现象：提示显存/内存不足→ 模型、上下文、GPU 层数三者中总有一个超了 → 依次减
--contextsize、--gpulayers，再不行换更小的模型。 - 现象：GPU 加速没生效→ 启动时没选后端 → N 卡加
--usecuda，A 卡/核显加--usevulkan（Windows 需选带 CUDA 的 exe）。
想在家里跑一个不依赖云的 AI——聊天、画图、配音一把抓的，KoboldCpp 是最省事的选择。去下载 exe，指给你的第一个 GGUF 模型，然后打开浏览器。
【免费下载链接】koboldcppKoboldCpp - Run GGUF AI models locally with a KoboldAI UI. One File. Zero Install.项目地址: https://gitcode.com/gh_mirrors/ko/koboldcpp
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
