前言前两天读到论文FreeToken: Efficient Edge‑Native MoE Serving with Bandwidth‑Adaptive Execution这是 UC Berkeley 与 MIT 联合开源的端侧 MoE 推理系统。和传统方案必须把全部专家预加载进显存不同FreeToken 将完整专家权重放在系统内存只在显存开辟一块 LRU 高速缓存仅保留近期高频访问的专家。结合带宽自适应调度机制它会根据任务类型动态激活对应的专家编码场景优先调度编码相关专家文本生成则切换到通用文本专家不需要把全部专家常驻显存显著降低显存压力。传统 MoE 推理要求预加载全部专家显存开销极高消费级硬件很难驾驭大参数量 MoE 模型。FreeToken 还会实时感知 PCIe 带宽、内存吞吐与设备算力对未命中缓存的专家做 GPU‑CPU 混合计算无需修改模型权重即可完成推理。在我的笔记本RTX5070 8G 显存 32G 内存上实测可以顺利跑通 Qwen3.6‑35B‑A3B生成速度可达15 token/s在笔记本已经具备实用的本地推理能力。然后我尝试将 API 接入 CC Switch搭配 Codex 调用本地模型并在codex上成功执行相关自动化任务。教程一. 安装freetokenfreetoken github 地址GitHub - FlashML-org/FreeToken · GitHubfreetoken 官网地址 FreeToken — Bring Frontier to Edge | FlashML下载安装后电脑会报病毒关掉微软安全中心的病毒检测就好了安装完成后进入以下界面freetoken在使用之前需要安装引擎一键安装即可注意大概7个G左右默认目录是安装在c盘C:\Users\用户名\AppData\Local\FreeToken在该文件夹中创建python虚拟环境安装torchcuda等相关库用于推理安装引擎的时候可以同步下载可用模型freetoken会根据你的电脑硬件选择合适的模型供你下载目前我的是只支持Qwen3.6-35B-A3B-NVFP4等这些小模型点击下载。默认安装在C盘如果C盘空间不大可以在设置中更改模型目录等待python环境和模型权重下载好了之后就可以尝试启动模型在控制台可以调试相关参数并尝试对话。完成freetoken的部署二. codex安装codex下载地址https://chatgpt.com/zh-Hans-CN/codex/点击下载windows版双击exe文件完成安装安装完成之后桌面没有显示去开始菜单中找到该应用如果有chatgpt的账号可以使用科学上网登录chatgpt账号来使用codex进行自动化任务。chatgpt有免费使用额度。如果使用别的AI 模型那么就要用到API 服务商可以使用CC Switch实现服务商的切换。三. 安装CC SwitchCC Switch官网https://ccswitch.io/zh/安装完成之后打开界面是这样选中codex点击 “”号创建路由我们这里使用自定义配置供应商名称随便写api-key随便写api请求地址打开freecode复制第一个链接注意我这里的端口号改过了如果端口占用可以在设置中更改端口号默认模型可以点击右侧的下载选中freecode使用的模型其他的地方按照cc switch默认配置在最后的配置中应用通用配置勾选掉点击设置打开路由开关完成配置然后打开codex可以看到左下角完成相关配置并能够成功运行在本地能够成功运行我得硬件配置慢。4分钟生成了一篇出师表。