• 桌面应用
• 本地部署
• 人工智能
• AI 应用

Sakura Launcher GUI 是一款用于一键部署和启动 Sakura 大语言模型（llama.cpp 推理服务）的图形化启动器，内置模型下载、显存检测、自动配置和性能测试功能。本文将从显存需求出发，帮你快速判断 7B 与 14B 两款 Sakura 模型哪款适合自己显卡，并给出实测参数设置建议。

💡 结论先行：显存 ≤ 8G 选 7B（4.25GB）；显存 10G~12G 可选 14B 但并发受限；显存 ≥ 16G 放心选 14B，翻译质量明显更好。

一、先看懂模型列表：7B与14B的显存需求一览

打开启动器左侧的「下载」页面，即可看到所有可选的 Sakura 模型列表（数据来源于 data.json）：

页面上方的说明文字已经给出了官方建议："翻译Galgame推荐使用7B模型，12G以下显存可用；翻译小说推荐使用14B模型，需要12G及以上显存。"（源码见 src/section_download.py）

完整显存需求对照表如下（来自 data.json 中每个模型的minimal_gpu_memory_gib字段）：

几个容易踩坑的点：

• 7B 和 14B 差距不止一倍：7B 模型只有 77 亿参数，14B 有 147 亿参数（约为前者 2 倍），翻译长文本时 14B 的上下文理解和中文流畅度明显更强。
• 量化格式影响速度：同为 14B，IQ4_XS比Q4_K_M小约 1GB，推理速度更快；追求翻译质量可选Q4_K_M。
• 旧版 14B（v0.9.2）反而更吃显存：它基于 Qwen1.5-14B，没有 GQA 注意力优化（KV 头数更多），最低显存要 12 GiB，新版的 Qwen2.5-14B 只需 10 GiB。新手优先选v1.0 / v3.7 系列。
• 显存需求 ≠ 文件大小：实际显存占用 = 模型权重 + KV 缓存 + 计算缓冲区，随上下文长度和并发数增长。启动器内置了显存计算器 src/utils/model_size_cauculator.py 来预估这一数值。

二、按显卡型号快速选型：3060/4090/A卡常见配置建议

不同显卡的推荐配置其实已经写进了 data.json 的recommended_np字段（key 为显存大小，value 为推荐并发线程数-np）：

💡 小提示：如果你的显卡显存刚好卡在临界值（例如 12G 跑 14B），启动时关掉浏览器、游戏等占显存的程序，启动器会读取实时剩余显存做检测（逻辑见 src/gpu.py），显存不足会弹窗提示"预计需要 X GiB 显存，当前只有 Y GiB 剩余"，按提示换模型即可。

三、三步在启动器中完成模型选择与自动配置

第一步：下载匹配的模型

在「下载」页面选择下载源（默认 HFMirror 镜像，国内速度快），点击对应模型右侧的「下载」。模型文件会保存到启动器所在目录，下载完成后会自动做 SHA256 校验（校验逻辑见 src/section_download.py）。

⚠️ 网络不好导致下载失败时，可以清理失败文件后重试，或手动下载 gguf 文件放到启动器目录下。

第二步：下载对应显卡的 llama.cpp

切到「llama.cpp下载」标签页，按显卡类型选择：NVIDIA 独显选CUDA 版，AMD 独显（RX 6000/7000 系列）选HIP/ROCm 版，其他显卡可选Vulkan 通用版（速度较慢，且不支持 IQ 系列量化）。

第三步：启动页一键「自动配置」

回到「启动」页面：

1. 在「模型」下拉框中选择刚下载的 gguf 文件；
2. 在「显卡」下拉框选择你的独立显卡（多卡用户选「自动」或按手册用CUDA_VISIBLE_DEVICES=a,b,c %cmd%指定）；
3. 点击「自动配置」按钮。

自动配置会读取你的实时剩余显存，从 16 到 1 逐个试探并发数，找到"每个线程上下文 ≥ 1536"的最大方案（算法见 src/sakura.py 与 src/section_run_server.py），并弹出提示：

已自动配置: context=xxxx, np=x，当前显存占用: x.xx GiB，预计模型显存占用: x.xx GiB

这样你就无需手动纠结-c（上下文长度）和-np（并发数量）怎么填了。

📌 上下文长度的经验值：

• 即时翻译（如 LunaTranslator）：每线程上下文 ≥ 512
• 文档/小说翻译（如 GalTransl、轻小说机翻机器人）：每线程上下文 ≥ 1536

四、用「性能测试」实测最优参数

模型能跑起来 ≠ 跑得快。启动页的「性能测试」按钮会自动运行llama-batched-bench，用三组参数实测你的机器：

• Prompt数量 -npp：默认 768
• 生成文本数量 -ntg：默认 384
• 并行Prompt数量 -npl：默认 1,2,4,8,16（模拟不同并发）

重点关注输出中的S_TG（解码速度，tokens/s）：从并发 1 → 16 时速度会先升后降，峰值对应的并发数就是最适合你显卡的-np值。比如 4090 上 14B 模型通常在 np=16 附近取得最佳吞吐，此时每线程上下文为 1536，正好满足翻译工具的要求。

测完满意后，点击「高级设置」里的「保存」把当前配置存成预设（如 "4090-14B"），下次一键加载即可。

五、常见问题速答

Q1：8G 显存能跑 14B 吗？不建议。14B 最低需要 10 GiB 可用显存，8G 显卡连模型权重加最小 KV 缓存都放不下，请直接选 7B（4.25GB 文件，最低 8 GiB）。

Q2：翻译质量 7B 和 14B 差多少？14B 基于 Qwen2.5-14B，参数量是 7B 的近 2 倍，在长篇小说、复杂句式和术语一致性上优势明显；7B 更适合短文本的 Galgame 即时翻译场景。显存允许时优先 14B。

Q3：AMD 显卡启动到了核显怎么办？7000 系 A 卡 + A 独显的机器有小概率出此问题，在「自定义命令」中输入HIP_VISIBLE_DEVICES=x %cmd%（x 尝试 0、1）即可指定独显，详见 Sakura Launcher GUI 用户手册.md 的 2.1.2 节。

Q4：提示"显存不足"但我明明显存够？启动器检测的是实时剩余显存而非总显存。先关闭其他占用显存的程序再启动；或在「设置」页勾选「关闭 GPU 能力检测」跳过检查（风险自担）。

Q5：手动下载的模型识别不到？把 gguf 文件放到启动器所在目录，或把模型文件夹路径添加到「设置」页的「模型搜索路径」中（每行一个），再到启动页点「刷新」。

六、总结：一张图记住选型规则

记住一句话：先定模型（看显存表），再点自动配置，最后用性能测试微调——这三步走完，你就拥有了适合自家显卡的最优 Sakura 推理配置。

参考文件：模型数据 data.json · 模型类定义 src/sakura.py · 显存计算器 src/utils/model_size_cauculator.py · GPU 检测 src/gpu.py · 使用指南 Sakura Launcher GUI 用户手册.md

• 桌面应用
• 本地部署
• 人工智能
• AI 应用