1250 亿参数本地大模型：12 GB 显存一键部署 Strata

【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata

一张 12 GB 的游戏显卡、32 GB 内存的普通家用 PC，跑起 1250 亿参数的 Qwen3.8-Flash-Next，还能在浏览器里聊天、接上你常用的编程 Agent。这就是 Strata 干的事：一个面向消费级硬件的本地大模型推理引擎，装好后在127.0.0.1:8080提供 OpenAI / Anthropic 兼容 API，全程不需要服务器级显存。

先看你的机器够不够

这节回答"我的 PC 能不能装"。硬件门槛一句话：显卡 ≥ 12 GB 显存，内存决定能跑多大的模型。

其余依赖（Python、推理引擎、模型文件）都由安装器自动处理，不用手动装任何环境。完整要求见 docs/INSTALL.md。两张甚至三张显卡可以共享同一个模型，见 docs/MULTI_GPU.md。

三条路径，选最快的

这节讲从下载到服务跑通的最短路线。三条路径任选其一。

桌面应用。从官方 release 下载对应系统的一个安装包（Windows 的.exe装到当前用户，无需管理员权限；Linux 的 AppImage 直接打开），首次启动时应用会提示下载适配你显卡的引擎，然后选模型、选存储目录，等下载完成即可聊天。

终端一条命令。不想碰图形界面就装终端版：

# Linux / Mac curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh

# Windows PowerShell irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

装完运行strata launch，跟着向导选模型、上下文、存储目录和访问设置即可。也可以先打印计划、什么都不下载：strata launch --family qwen --model iq2_xs --plan。

源码安装。clone 仓库（https://gitcode.com/gh_mirrors/strata11/Strata）后，Windows 双击START-HERE.bat，Linux 运行./setup.sh。脚本会回答四个问题——模型、尺寸、上下文长度、是否读图片——每个直接按 Enter 取推荐值。它探测你的显卡并自动选 CUDA 或 HIP 引擎，下载模型（约 70 GB，可中断、可断点续传）后启动服务，浏览器打开http://127.0.0.1:8080。

常用安装参数（源码路径同样适用，完整列表见START-HERE.bat --help）：

两点心理预期：首次启动 PC 可能卡顿甚至无响应 1-3 分钟，因为要载入 35-55 GB 数据并锁住一部分供显卡使用，等着就行，窗口会显示进度；之后再启动 30-90 秒即可。更新用应用内更新、strata update，源码则是UPDATE.bat/./update.sh——只更新引擎和配置，不动模型文件。

32 GB 还是 64 GB？按内存选尺寸

这节帮你把 125 GB 级的模型塞进自己的内存。Qwen3.8-Flash-Next 有压缩程度不同的多个尺寸，判断规则只有一条：内存 ≥ 该尺寸的专家文件 + 约 10 GB（留给系统和其他程序）。

实测速度（tokens/s；生成速度 / 32K 提示词读取速度）：

一个 token 约 ¾ 个单词，60 tokens/s 比人眼阅读还快；显存越大的卡越快，RTX 3090（24 GB）大约能到 100-140 tokens/s。各尺寸数据与低内存模式的完整规则见 docs/MODELS.md。

版本上的几个取舍：Coder每层 512 个专家只保留按代码数据筛出的 256 个，作者方数据为 SWE-bench Verified 的 91%、LiveCodeBench 的 99%，但代码以外的能力（含中文等 CJK 文本）明显更弱，strata launch --family coder即可安装；Swift 1.5是 UkisAI 的微调版，思考更短、答案来得更快、质量大致相当；Unsloth UD-Q4_K_XL最接近完整模型，但 111 GB 下载中有 77 GB 专家需要 SSD 兜底，仅限 NVIDIA + NVMe。

让编程 Agent 接上本地模型

服务起来之后，接入现有工具只需填一个地址。

• 任何 OpenAI 兼容应用：base URL 填http://127.0.0.1:8080/v1，API key 填任意值，模型名随意。
• Claude Code：设ANTHROPIC_BASE_URL=http://127.0.0.1:8080（Anthropic 接口在http://127.0.0.1:8080/v1/messages），再配ANTHROPIC_MODEL为任意 Claude 名字（Strata 忽略名字）。
• 浏览器直接打开http://127.0.0.1:8080有聊天页、监控页和 About 页；聊天存在浏览器本地，服务器不落盘。
• 思考深度用请求字段"reasoning_effort"控制，可选 off / low / medium / high，默认 high；难题用 high，图快用 off。
• 让手机或局域网其他设备访问：--host 0.0.0.0 --api-key <secret>，key 不能省。

性能上它一次只处理一个请求，但会话状态会保留：第一条消息完整读取（4K 提示词约 0.5-1.5 秒到 1,000+ tokens/s 量级，32K 用 Q2_0 约 15 秒），之后的追问只读增量，几秒内开始生成。

为什么 12 GB 显存装得下 1250 亿参数

核心在于 Qwen3.8-Flash-Next 是 MoE 结构：24,576 个小专家（"expert"），而每个词只激活其中 10 个。这意味着专家不必全部塞进显存——Strata 把它们按"使用频率"分层安置，像一座医院的分诊台：急诊患者（最忙专家）留在抢救室（GPU），普通病人在候诊区（内存）由门诊医生（CPU）接诊，病历档案（查找表）放在库房（SSD）。

• GPU：每个词都需要的 attention / DeltaNet 混合器、路由器、共享专家、KV cache、MTP 草稿层全在这；显存剩余部分填一个在线自适应的专家缓存——你最常聊的话题用到的那几千个专家自动驻留，显存每多 1 GB 约多装 700 个。
• CPU 内存：pinned 地装着全部 24,576 个专家。某词需要 GPU 上没有的专家时，CPU 就地计算，和 GPU 并行、互不等待（AVX-512 / AVX2 内核）。
• SSD：28.8 GB 的 n-gram 查找表，每个词只读几行。

速度层面再叠两层加速。一是"先猜后验"：模型自带的小 MTP 层一次猜最多 3 个后续词，大模型用一遍 48 层完整前向统一核对，保留同意的、不同意的自己写——平均每次前向产出 2.4-3.2 个词，质量不变、速度提升 1.6-1.8 倍。二是代码编辑等"回答在重复上下文"的场景，prompt lookup 直接从之前副本抄最多 5 个词，实测再快 6-11%。相关实现见 include/strata/core/mtp.hpp 与 include/strata/core/verify.hpp。全部部件数字见 docs/HOW_IT_WORKS.md，完整测量见 docs/paper/Strata-Paper.pdf。

排障速查

更完整的症状表（上下文超限、AMD 找不到 GPU、Linux 退出码 -9 等）在 docs/TROUBLESHOOTING.md。提 issue 前附上strata --version、strata doctor --live和strata launch --status的输出。

模型出自 Qwen 团队的 Qwen3.8-Flash-Next，压缩版本分别由 ISTA-DASLab、UkisAI（Swift 1.5）、Unsloth 制作。Strata 引擎基于 llama.cpp / ggml 组件构建，采用 MIT 许可（LICENSE）；模型文件不在仓库内，适用各自模型的许可。

【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata