跑完2024年国际消费电子展回来，很多朋友问我，这届展会最值得看的是什么。我的答案不是某款新手机，也不是某台折叠屏，而是AI终端这个大方向。尤其是AI PC，几乎每个芯片厂商的展台都在讲它，每个PC品牌的新品都在强调它。展会上大家反复提的一个词是“AI On”——意思是AI能力不再只是云端的一个服务，而是真正跑在终端设备上、随时待命、本地就能完成推理。这个转变，比单纯堆参数重要得多。对普通用户来说，AI PC能解决什么问题，对开发者来说，端侧AI有哪些机会，这篇文章我想结合展会的观察，把AI PC的热闹和门道一起拆一拆。
1. 展会现场，AI终端靠什么成为焦点
1.1 从“AI Off”到“AI On”，概念到底变在哪
前两年大家提AI，默认指云端AI。你问一句，请求跑到服务器，算完再传回来，手机或者电脑只是收发窗口。这种方式有个专业说法叫“AI Off”，说得直白点，真正干活的不是你的设备，是别人的机房。到了2024年，风向变了。芯片厂商和终端厂商都在推“AI On”——模型直接装进设备，推理不出本机，随时响应，不依赖网络。
这个差别有多大？我用一个生活化的例子：AI Off就像你家里不开火，每顿饭都点外卖，等骑手送上门，好处是不用自己备菜，坏处是断网、停电、餐馆打烊你就没辙；AI On是在自己厨房里做饭，备菜、切菜、炒菜都在家完成，花的时间多一点，但任何时候想吃都能做，还知道自己用的是哪块肉。
所以“AI On”不是营销话术，它背后是芯片架构、模型压缩、内存带宽、软件开发工具一整条链路的变化。2024年CES上的AI PC，能现场跑画图、能本地做会议转写、能离线处理文档摘要，靠的就是这个从Off到On的跨越。你可以不理解那些参数，但你要知道，以后的电脑不再是个“浏览器外壳”，它自己就是算力中心。
1.2 展台上那些“跑给你看”的AI功能
在展区逛一圈，你会看到大量实机演示。最常见的三个场景，基本代表了AI PC现阶段的能力边界。
第一个是本地画图。输入几句文字，机器在十几秒内生成一张图，整个过程没有联网。展台工作人员会专门把网线拔掉演示，意思很明确：“不是云端的，这是我们这台机器自己算的。”虽然生成速度不如云端那种几十张图一起出，但胜在私密、免费、不排队。
第二个是视频和音频的实时处理。比如一段会议录音，本地直接转成文字，顺带把不同说话人区分开，还能自动生成摘要。这个场景以前也是云端为主，但录完音再上传，总得等。现场演示的是“边说边转”，麦克风收音的同时文字就出来了，延迟非常低。
第三个是系统级的AI助手。它不只是一个能对话的聊天框，而是能理解当前屏幕内容，帮你调设置、找文件、总结网页。演示时工作人员让助手直接提取当前PDF里的重点，几乎没有等待。这种“懂上下文”的体验，必须在端侧才能做到——因为屏幕上的内容不可能全部上传到云端，本地处理才是合理方案。
这些场景展示出的趋势很清楚：AI PC不拼“能聊得多像人”，拼的是“能不能在断网环境下把活干了”。对普通用户，这是隐私和响应速度的胜利；对开发者，这是新的应用分发入口；对芯片厂商，这是新一轮硬件迭代的动力。
2. 芯片端为什么非拼NPU不可
2.1 CPU、GPU、NPU到底是怎么分工的
AI PC的芯片和过去最大的不同，是多了一个专门的神经元处理单元，行业里叫NPU。CPU、GPU、NPU三者分工可以这么理解：CPU是大厨，什么菜都会做，但一次只能专心做几道；GPU是甜品流水线，擅长大量重复的并行操作，烤几百个蛋挞同时出炉没问题；NPU则是专门洗菜切菜的帮工，做LLM推理这种固定套路活儿特别快，而且省力。
以前电脑跑AI，主要靠GPU硬扛。GPU算力强，但功耗高。笔记本功耗墙就摆在那，你总不能为了让电脑能跑AI，让它十分钟就没电。NPU的加入，就是找到一个能效比更高的处理单元。它做法比较固定，矩阵运算一遍又一遍，NPU直接用专门硬件去吃这些计算，单位功耗下的性能比CPU和GPU都要高。
这也是为什么2024年CES上芯片厂商都在强调NPU算力。一个常见的提法是“TOPS”，也就是每秒万亿次操作。去年的主流芯片还在十几TOPS徘徊，今年展会上发布的新一代平台，不少直接奔着40 TOPS以上去了。这个数字不是一个营销噱头，它直接决定了你的笔记本能不能流畅运行本地AI模型。
2.2 TOPS和内存带宽，买AI PC要看的两个关键参数
很多朋友选电脑只看CPU型号和内存大小，到了AI PC时代，这两个参数不够了。你必须会看NPU的TOPS值，以及内存带宽。
先说TOPS。以本地跑一个轻量级开源语言模型为例，7B（70亿参数）规模，4bit量化之后，推理一遍大概需要几十TFLOPS的算力。如果NPU算力在10 TOPS以下，文本生成就会明显卡顿，每秒只能吐几个字；到了40 TOPS级别，基本能做到流畅对话。芯片厂商把40 TOPS当成一个“AI PC分水岭”，原因就在这里——它意味着主流模型的实时推理成为可能。
再说内存带宽，这个参数更容易被忽略。模型参数要从内存搬到计算单元才能算，搬得越快，推理越快。理论上，7B模型的4bit量化版本，权重占用大约3.5GB到4GB。如果内存带宽只有几十GB每秒，参数搬运就会成为瓶颈。所以你会发现，新一代AI PC平台普遍搭配更高频率的LPDDR5X内存，有的带宽超过100GB/s。买机器的时候，别只看内存容量够不够大，要顺带看一眼是不是高速内存，否则NPU再强，数据喂不上来也是白搭。
2.3 不同阵营的芯片方案差异
展会上各家芯片厂商的路线不太一样，简单分成两类看比较清楚。
一类是x86阵营的头部厂商。它们的策略是把NPU做成SoC的一部分，CPU、GPU、NPU统一调度，兼容性最好。好处是Windows生态的软件可以直接调用，开发者不用自己折腾底层适配。发布的AI PC参考机型，演示重点通常在办公场景，比如本地抠图、视频背景虚化、会议实时字幕。
另一类是移动平台阵营的芯片设计厂商。它们原本在手机SoC上积累了丰富的低功耗AI经验，现在想把这套能力带进PC。这部分芯片的NPU算力相对更激进，而且对Windows on ARM生态比较上心。它们的优势是能效比，适合轻薄本、长续航机器。但要注意，目前一些行业软件对这类平台的适配还有坑，买之前最好确认你常用的软件有没有原生版本。
还有一类是独立显卡厂商，它们强调GPU的重要性。逻辑也没错，毕竟大型AI训练和图像生成，GPU依然是王者。但在AI PC的定义里，NPU的能效比确实是不可替代的。未来大概率不是谁取代谁，而是CPU、GPU、NPU各干各的活：轻量常驻AI用NPU，重负载生成任务由GPU负责，复杂逻辑调度交给CPU。三条腿一起走，才是真正的“AI On”。
3. 终端厂商怎么把AI On真正落地
3.1 系统级AI助手成了新入口
单纯堆硬件，用户感知有限。终端厂商非常清楚这一点，所以这届展会上，每家发布AI PC都在讲自己的系统级AI助手。
这个助手和以前那个只会设闹钟的语音助手完全不是一个物种。它嵌在操作系统里，能看懂当前屏幕上是什么内容。你在浏览器看一篇外文文章，它可以就地总结成中文；你在写方案，它可以调出本地文件库里相关的历史文档；你收到一封长邮件，它能先帮你判断要不要紧急处理。这些东西如果放在云端做，等于把你的屏幕截图全部传上去，安全和隐私都是问题。放本地就不一样了，数据不上云，用户更放心。
终端厂商的另一个动作是统一应用入口。以前你装一个AI工具就得打开一个独立App，现在系统层提供一个AI助手面板，把本地模型调用、应用联动、文件搜索全部收到一起。你在任何界面按一下快捷键，就能呼出这个入口。这套交互逻辑，本质是想让AI成为操作系统的“空气”，而不是一个被单独打开的应用。
3.2 本地大模型：7B以下是主力，量化是常态
终端厂商要跑AI助手，不可能直接用云端那种几百B参数的大模型，硬件放不下，功耗也扛不住。所以它们选择的是轻量级开源模型，参数规模通常在7B到13B之间，再经过量化压缩。量化这个词不用怕，可以理解成把一个大文件压成体积更小的版本，精度略有损失，但换来的是能在本地设备上跑得动。
4bit量化之后，7B模型的显存需求在4GB左右，这个量级今天一台16GB内存的笔记本完全可以轻松承载。如果你只有8GB内存，硬跑也不是不行，但系统会卡，体验很差。所以我现在看到AI PC的宣传页，第一件事就是看标配内存是不是16GB起步。
这里有个厂商的算盘：把模型预装在电脑里，用户第一次打开AI助手就能用，不需要联网下载几个GB的模型文件。这种“开箱即用”的体验，才是AI PC区别于普通笔记本的核心。你要是让用户自己去找模型、配环境，99%的人当场放弃。
3.3 离线AI场景，比想象中实用
“AI On”还有一个非常现实的卖点：没网的时候也能干活。
这个点很多人低估了。坐高铁、上飞机、去信号不好的地方，手机可以刷离线缓存，笔记本过去只能看本地文件。但如果AI助手在本地跑，你照样可以让它帮你把一整天的会议记录整理成条目，可以把上个月的报销单据汇总成表格，可以拿一份英文合同让它提炼核心条款。这些场景以前必须依赖云端，现在端侧全包了。
这也改变了终端设备的产品定义：一台装好本地模型的AI PC，就是一台不联网也有智商的设备。它不关心云端网络波动，不在乎服务商限流，不担心数据出境。对处理敏感资料的用户来说，这种本地运行的AI带来的安全感，比“功能多”更有价值。
4. 开发者实操：在AI PC上把模型跑起来
4.1 第一步，确认你的设备有没有“AI硬件”
不管你是想给AI PC做应用，还是单纯想验证一下新电脑的AI能力，第一步都是确认硬件是否支持NPU。
如果你用的是Windows 11，打开任务管理器，切到“性能”标签页，如果机器有NPU，你会看到一个独立的性能图表面板，处理器型号里往往带“NPU”字样。部分平台还会显示Chipset Device的中文名称。如果没有这个面板，也可以打开设备管理器，在“系统设备”里找包含NPU、AI Boost等关键词的条目。
确认硬件之后，还要保证驱动是最新的。很多朋友买回AI PC，发现本地AI功能用不了，90%的原因是驱动没装好。拿到新机器，第一件事就是打开系统更新，把所有可选更新装齐，再就是去芯片厂商官网下载最新的NPU驱动。这一步看起来简单，但我在实操里见过太多人卡在这。
4.2 第二步，选一个轻量模型并跑起推理
环境确认后，下一步就是部署模型。这里我不建议新手一上来就挑战那种几B参数以上的大模型，容易把机器搞死机。先拿一个轻量模型练手，跑通了再加深。
以开源生态里常见的模型为例。你可以直接用Python写一个几行的脚本，调用推理框架加载4bit量化后的7B模型。加载之前，需要安装好推理框架的Python包，以及对应的EXE提供程序。注意，这个“提供程序”很关键，它决定了推理走的是CPU还是NPU。如果你装了芯片厂商提供的NPU支持包，推理框架里就能看到对应的execution provider。没有这个，模型就会跑回CPU上，速度惨不忍睹。
加载模型时还有一个容易踩的坑：内存不足。7B模型4bit量化需要至少4GB空闲内存，加上运行时开销，建议16GB内存的机器关掉浏览器再跑。跑起来以后，打印推理速度，用“生成字符数除以秒”就能算出实际吞吐。如果每秒只有几个字，检查一下是不是没走NPU，或者量化精度是不是设置得太高。
4.3 第三步，观察功耗和散热，判断是不是“真AI PC”
跑通只是第一步，还得看它能不能稳定持续运行。
用工具监控整机功耗和CPU占用。NPU推理的一个好处就是功耗低，一个基础模型推理任务，整机功耗可能在20W上下，远低于GPU跑同一任务的功耗。如果发现推理时风扇狂转、机身发烫，大概率是路径选错了，NPU没参与，CPU或GPU在硬扛。
散热问题在轻薄本上尤其敏感。你可以用高负载推理持续跑十分钟，然后看温度曲线。如果持续撞温度墙，说明这台机器的散热设计没能匹配AI负载，这时候再看NPU算力参数意义就不大了。别只看发布会上写了多少TOPS，从实际表现反推，才知道那台机器的真实AI能力。
5. 常见问题与避坑清单
5.1 预装了“AI按钮”不等于AI On
展会之后，市面上会有大量号称“AI PC”的新品。有些机器只是在键盘上加了一个AI按键，按下去是调用云端服务，本质上还是AI Off。区分其实很简单：断网测试。把Wi-Fi关掉，按一下AI键，功能还能不能跑。能跑的才是真AI On；跑不了的，顶多算带了一个AI快捷键。
还有一个坑叫“AI Ready”，意思是硬件有NPU，但软件还没跟上，当下只能当普通电脑用。买这种机器，相当于提前为未来付费。如果你现在就要用AI功能，建议直接选已经预装完整AI助手的型号；如果你预算有限，愿意等系统更新，AI Ready也可以接受。怕就怕买的明明叫AI Ready，却当AI On的价格卖。
5.2 内存和存储升到什么规格才合适
AI PC的内存和存储，我直接给结论：内存至少16GB，存储至少1TB。
推理时模型要常驻内存。8GB内存跑7B模型，系统会频繁用硬盘当虚拟内存，卡顿几乎不可避免。16GB是一个比较舒服的门槛，跑模型的同时还能开浏览器和文档。如果预算够，32GB更稳，毕竟未来模型只会更复杂。
存储为什么也建议1TB？因为很多AI应用会本地缓存模型文件，一个模型几个GB，装三五个就奔二十GB去了。加上系统、软件、照片，512GB很容易告急。另外建议预留至少20GB可用空间，否则NPU的临时文件没地方放，推理会突然失败。
5.3 老设备能不能升级成AI PC
很多朋友问：我现在的笔记本加一张加速卡，或者装个开源模型，是不是也能拥抱AI On？
硬件上，从零改造的成本很高，效果也有限。NPU是集成在SoC里的，老平台没有就是没有，外接设备无法实现同样的能效。软件上，你确实可以在老电脑上用CPU跑轻量模型，体验一下端侧AI，但速度慢、占用高，很难代替日常使用。
我的建议是：如果你手头电脑还能满足日常办公，不用急着换，先拿软件跑个轻量模型玩玩，了解端侧AI的边界在哪里；如果你本来就在考虑换新电脑，那预算内优先选带独立NPU、原生支持AI加速的新平台，这是面向未来三年的选择。
5.4 关于跑分，别只盯着NPU的纸面峰值
跑分是一个必要的参考，但只看分数容易让人误判。
同一个40 TOPS的NPU，在不同软件生态里表现可以差出一倍。模型优化得好不好，推理框架适配得是否成熟，都直接影响实际速度。所以看测试数据时，我会多看同款机型在真实应用场景里的第三方评测，而不是只看芯片厂商自己公布的理论峰值。
另外，NPU算力高的机器，续航未必差，但也得看整机功耗调校。轻薄本为了续航会限制功耗墙，导致AI负载性能打折。买之前可以重点搜一下“续航测试”和“AI推理实测”两组关键词，结合起来看，就不会只看参数表被忽悠了。
6. 我踩坑之后的一点实在体会
展会上看了很多演示，回来自己也动手试了一台AI PC。说实话，第一次跑通本地模型的时候，最大的感受不是快，而是安心——数据不出本机，想用就用。我也踩过几次坑：驱动没装对，模型一直在CPU上龟速跑，我还以为是机器不行；内存开太多后台，模型加载到一半直接崩溃。后来乖乖按步骤来：先确认NPU驱动，再关掉多余程序，再选小模型起步，这才真正体会到AI On的顺畅。
如果你正准备入手一台AI PC，或者想在上面做点自己的小项目，我的个人建议是十二个字：看NPU，升内存，断网测，上手跑。参数表再好看，都不如关掉网络实际用一次来得真实。AI On才刚刚开始，这一代设备能做的已经让我觉得够用，下一代只会更顺手。
