最近在过“每天一篇论文”计划进度走到329/365这篇挑的是EyrISV2。光看标题就挺有意思——专门给移动设备上的深度神经网络做的柔性加速器还是第二代。做端侧推理、模型压缩、神经网络硬件加速的同行建议把这篇花点时间认真读一下。它不是在某个卷积算子上做定点优化而是整个加速器架构都在讲“怎么柔性适配不同的网络结构、不同的精度需求”。这种问题比固定数据流的加速方案难一个量级也是后面做边缘AI芯片绕不开的一关。这一篇我先聊第一部分把背景、整体设计思路和关键模块的取舍讲透。1. 移动端DNN加速到底卡在哪1.1 移动端跑神经网络算力只是表象问题大家一说到移动端部署DNN第一反应往往是算力不够。但实际做过端侧推理的人都知道算力只是最表面的一层。移动设备上跑一个几十层甚至上百层的CNN真正麻烦的有三件事一是内存带宽和片上存储极其有限模型参数动不动几十兆没法全塞进SRAM二是不同网络层的计算模式差异很大卷积、深度卷积、全连接、注意力矩阵乘每一种的数据复用方式都不一样三是功耗墙手机、穿戴设备、IoT模组都是电池供电能效比上不去再高的峰值算力也是废的。所以移动端DNN加速器本质上是在三个约束之间找平衡算力、存储、能效。单独把一个指标做高没有意义真正难的是在功耗和存储受限的前提下让计算阵列保持较高的利用率。EyrISV2这个方向明显就是冲着这个问题去的。它不是按某一个主流网络结构定制的专用加速器而是希望通过“柔性”的硬件设计去覆盖尽量多的网络层类型和精度配置。这个思路在学术圈不新鲜但真正能在合理硬件开销下落地的方案并不多。1.2 为什么固定数据流的加速器不够用早期不少加速器设计走的是“单点最优”路线。比如针对VGG或者ResNet这类标准CNN把卷积循环展开设计一个固定尺寸的脉动阵列数据按固定方式在片上流动。跑官方模型的时候效率很好看但换一个网络结构、换一个输入分辨率、换一个量化位宽利用率就直线下降。问题出在数据流上。卷积计算里有两类数据复用权重复用和激活复用。不同网络层里这两者的比例完全不一样。普通3x3卷积的权重复用率高但1x1卷积几乎就是矩阵乘更吃激活复用深度卷积则几乎没有输入通道间的复用。固定数据流的架构等于把这些情况一刀切实际跑起来自然顾此失彼。EyrISV2这种“柔性加速器”的做法通俗点说就是让硬件去适配网络而不是反过来要求网络迁就硬件。计算阵列可以在不同工作模式之间切换数据流方式可以配置精度也可以动态调整。目标就是把架构的通用性和专用性尽量往一起拉。1.3 EyrISV2要解决的三个核心问题从论文标题里的几个关键词可以倒推出设计目标。第一个关键词是“移动设备上”说明目标是嵌入式场景对能耗和面积敏感。第二个关键词是“深度神经网络”不是只加速卷积还要能处理全连接、逐点卷积这些层。第三个关键词是“柔性加速器”说明硬件本身具备可配置性。拆解下来EyrISV2要解决的核心问题就三条第一在能耗约束内提供足够高的峰值算力第二通过硬件配置来适应不同形状的网络层减少计算阵列闲置第三支持不同的量化精度让低精度网络能直接把硬件优势兑现出来。看起来是三个问题实际落到架构设计上全都指向同一个方向——计算阵列和存储层次的可重构性。2. 从第一代到第二代的演进思路2.1 初代加速器解决了什么留下了什么既然是V2那一定有V1做铺垫。虽然手里的资料没有展开讲初代版本但从命名习惯和这个方向常见的发展路径来看第一代大概率是在固定数据流或者有限可配置的基础上验证了移动端DNN加速的基本可行性。完成的工作应该包括基本卷积算子的映射、片上数据复用策略、以及低精度定点计算的硬件支持。而这类第一代方案的通病通常是灵活性不够。你做了一个8位定点乘加阵列发现有人在跑混合精度你做了一个按输入通道拆分的计算策略发现某个网络层要用大卷积核你想用稀疏性来省电发现硬件根本不支持跳过零值。这些坑往往只有在大量真实模型跑过之后才能暴露出来。所以V2的“柔性”是可以预见的演进方向。它不是为了炫技而是在第一代落地经验的基础上针对性的把“适配能力”做出来。2.2 “柔性”到底体现在哪些维度读这类加速器论文最忌讳的就是看到“柔性”“可重构”就兴奋却不搞清楚它到底在哪几个维度上做了文章。按我的理解EyrISV2的柔性至少体现在这样几个层面。第一是数据流柔性。计算阵列既支持类似脉动阵列那种权重静止、激活流动的模式也支持激活静止、权重广播的模式。这样一来普通卷积、全连接、深度卷积都能找到比较合适的数据映射。第二是精度柔性。加速器不会锁死在某一个位宽上而是可以在不同的定点精度之间切换常见的就是8位、4位甚至更低。配合现在端侧很流行的混合精度量化硬件能直接吃下不同精度的权重和激活。第三是计算模式柔性。乘加阵列本身可能被重构成不同用途比如在某些层里作为标准卷积阵列用在某些层里变成多个并行的小矩阵乘单元。这种重构能力对现在Transformer类模型落地特别关键因为自注意力里的矩阵乘法经常是较小维度的批量运算硬塞给大阵列反而浪费。2.3 同类加速器的不同设计路线对比把EyrISV2放在整个移动端DNN加速器版图里看更容易理解它的位置。市面上的方案大致分成三条路线。一条是纯ASIC定制路线针对特定模型族做深度优化能效比最高但灵活性最差换模型等于换芯片。另一条是类CGRA路线用大量可重构处理单元阵列覆盖不同计算图灵活性最好但控制开销和互连开销大面积和功耗代价高。还有一条就是EyrISV2走的中间路线以脉动阵列或者类似组织方式的计算阵列为底座加上一定粒度的可配置逻辑在能效和灵活性之间找一个工程上最舒服的平衡点。这个定位很现实。纯ASIC路线养不起类CGRA又太奢侈做一款能覆盖主流网络结构、又能保持较高能效比的加速器恰恰是端侧AI芯片最需要的。3. EyrISV2的整体架构与关键模块解析3.1 顶层架构拆解计算阵列、存储层次、控制通路从顶层看EyrISV2这种柔性加速器一般会分成三块计算阵列、存储层次、控制通路。计算阵列负责乘加运算和激活函数等后处理存储层次负责把权重和激活数据在合适的时间送到合适的地方控制通路则负责配置模式、调度数据流和处理稀疏性控制信号。这三块里存储层次往往是加速器性能的胜负手。计算阵列的峰值算力摆在那儿能不能跑满取决于数据能不能喂饱。EyrISV2在存储设计上通常采用多级缓冲结构最外层是DRAM接口中间是较大容量的全局buffer最内层是每个计算单元身边的小型寄存器或SRAM块。数据在层与层之间的搬运讲究“以计算为中心”尽量让数据在一个计算周期内被复用多次减少对外部存储的访问。控制通路这块反而是容易被低估的地方。柔性加速器的控制逻辑比固定架构复杂很多因为它要处理多种工作模式之间的切换、不同精度下的数据对齐、以及稀疏性跳零等操作。如果控制通路设计得不够干净配置切换的延迟会直接把小算力场景的收益吃干净。3.2 计算引擎的核心多精度与稀疏性支持计算引擎是加速器的心脏。EyrISV2里的计算引擎大概率是由一组可重构的乘加单元构成每个单元能够在不同的精度模式下工作。多精度支持的关键在乘加单元的内部结构。为了在8位、4位这样的位宽之间切换最简单的做法是位串行计算即用低位宽的乘法器组合出高位宽的乘法结果代价是延迟增加另一种做法是让乘法器本身支持不同模式的输入分割比如一个8位乘法器可以被拆成两个4位乘法器并行工作这样低精度算力翻倍能效也跟着上去。实际设计里两种方法往往会混用具体选哪种要看成片面积和时序预算。稀疏性支持则是另一大能效来源。神经网络经过ReLU之后激活矩阵里大量元素是零量化之后零值更多。如果硬件能提前判断数据是否为零直接跳过那部分乘加操作就能省下相当可观的动态功耗。EyrISV2对稀疏性的处理常见做法是在数据进入计算阵列之前做零值检测生成一套“跳过指令”让阵列里对应的乘加单元进入低功耗待机状态。这说起来简单实际实现时稀疏模式对数据流的影响非常大不做好的话跳过零值省下来的功耗会在控制逻辑上吐回去。3.3 片上存储与数据流调度怎么把阵列喂饱片上的数据流调度是这类加速器最难做出彩的部分。你可以把计算阵列想成一条流水线存储系统就是给流水线供料的仓库。仓库出货速度跟不上流水线阵列利用率再高也白搭。EyrISV2在数据流调度上核心思路一般是“展开折叠”把卷积的循环维度展开映射到空间上的计算单元再把不能展开的维度折叠成时间上的多次迭代。展开哪些维度、折叠哪些维度决定了权重复用和激活复用的比例也就决定了外存访问负载。比如把输入通道维度展开一个权重可以服务多个输入像素这时权重复用率高把输出通道维度展开则一个输入像素可以被多个权重复用这时激活复用率高。不同网络层适合的策略不一样。普通卷积层通常展开输出通道和空间位置深度卷积层更合适展开输入像素维度全连接层则要当作一个大矩阵乘来安排数据分块。EyrISV2的柔性本质上就是可以在这些展开策略之间动态切换让存储系统始终以最合理的方式给计算阵列供数。3.4 配置切换的开销问题说完柔性必须泼一盆冷水柔性是有代价的。计算阵列从一个数据流模式切换到另一个模式往往需要清空或者部分清空流水线重新加载配置信息然后才能开始新一轮计算。这个切换开销如果过大对那种“层数多但单层计算量小”的网络就是灾难。EyrISV2这种级别的加速器在架构上通常会用几个办法消化切换开销。一是配置缓存把不同网络层对应的配置提前预取到片上切换时直接替换寄存器组而不是从外部重新读取配置。二是流水线重叠当前一层还在计算尾部的时候就开始预配置下一层的状态让切换时间被计算时间掩盖。三是尽量把切换频率控制在层的粒度而不是在层内频繁切换这需要编译器或者运行时调度器的配合。从这个角度看柔性加速器从来不是纯硬件问题软硬件协同设计在很大程度上决定了柔性到底能用起来多少。4. 实验评估应该怎么看4.1 实验平台与基准模型选择读加速器论文实验部分最见功力。EyrISV2作为移动端加速器评估手段常见的有两种一是完整RTL实现后在FPGA上跑精度高但速度慢二是架构级建模加周期精确仿真速度快适合做设计空间探索。不管哪种都必须交代清楚主频、工艺节点、片内缓存容量、DRAM带宽这些参数否则很多指标没法横向比较。基准模型的选择也有讲究。只看ResNet这种经典CNN还不够现在移动端实际部署得多的网络还包括轻量级网络比如MobileNet这种带大量深度卷积的结构、检测网络、以及越来越多的Transformer类模型。EyrISV2如果能在这些不同结构上都保持较高的阵列利用率那“柔性”才算是真正兑现了。评估里如果只看一类网络大概率是刻意回避了配置切换的短板。4.2 关键指标利用率比峰值算力更重要衡量加速器好坏峰值TOPS只能当宣传数字看。真正值得关注的是实际算力利用率、能效比TOPS/W、以及单位面积算力这三个指标。算力利用率反映的是喂数能力利用率低说明存储层次或者数据调度出了问题。能效比是移动端加速器的生命线直接决定它能不能塞进手机或者IoT设备。单位面积算力则是成本指标同样面积能提供多少有效计算决定了芯片卖多少钱。EyrISV2这种柔性架构面积上有天然劣势因为可重构逻辑总是比固定逻辑费晶体管。所以实验评估里一定要重点看它有没有把单位面积算力这个账算清楚——如果柔性带来的灵活性提升是用翻倍的面积换来的那在商业上就未必站得住脚。4.3 什么结果才算真的有效看结果的时候要有自己的判断力。一个合理可信的评估应该能看到几组有区分度的对比。比如在特定网络结构下EyrISV2与没有柔性机制的基线加速器相比算力利用率提升了多少在混合精度场景下与只支持8位定点的方案相比能效提升了多少在稀疏网络下与不做稀疏跳零的方案相比动态功耗节省了多少。对比对象太弱或者只跟纯软件方案比说服力都不足。真正有价值的结论是在“几乎相同面积和功耗预算下柔性设计换来了多少额外性能弹性”。如果论文能把这个账算清楚那它的工程参考价值就非常高了。5. 从这篇论文里可以带走什么5.1 做硬件加速器值得借鉴的几条设计经验第一不要把可重构做成全可重构而是在关键路径上做有限度的柔性。全可重构看起来美好控制逻辑和互连资源开销会让能效跌得很难看。EyrISV2这种在计算阵列、数据流调度、精度这几个关键维度上做灵活设计是比较务实的中间路线。第二数据流策略一定要跟网络结构联动。跑不同网络之前先在离线阶段做一轮profiling确定每一层的最优展开维度组合然后把这些配置项固化下来。运行时只是做配置的加载和切换不需要做复杂决策这样能把控制开销压到最低。第三软硬件协同设计不是可选项是必修课。加速器做出来之后编译器能不能把网络映射到合适的数据流模式上直接决定硬件能力的兑现程度。开始设计硬件的同时就要开始设计编译器接口两边一起调否则最后一定有一边在迁就另一边整体性能天花板直接被压低。5.2 如果想复现或者借鉴从哪里下手真要动手复现或者借鉴EyrISV2的思路不建议一上来就写RTL。先用架构级仿真器把数据流调度策略跑通验证不同网络层在不同展开配置下的存储访问量和阵列利用率。这一步不需要太精确目的是确认思路没有硬伤。接下来选一个最简单的卷积层数据流模式把它的RTL实现走通跑出功能正确的乘加结果再依次加入多精度切换、稀疏跳零、配置预取这些机制。每加一个特性都在FPGA上做一个最小化的验证对比它带来的面积和时序代价。工具链方面建议从标准的FPGA开发流程起步用高层次的HLS做原型探索再逐步把关键模块换成手写RTL。原因是柔性加速器的控制逻辑比较复杂如果一开始就用低层次编码硬抠时序周期会拖得特别长而且很容易在还没验证到“柔性”价值之前就把精力耗尽。5.3 后续部分我期待看到什么这篇是“一”我已经写了这么多架构层面的理解后面第二部分最重要的自然是实验数据特别是能效对比和不同网络结构的利用率表现。我更期待看到的是在Transformer类模型和混合精度场景下EyrISV2的柔性机制到底能带来多大的实际收益以及切换到新的工作模式时性能损失到底能不能被有效掩盖。做端侧加速器就是这样看起来是在设计硬件实际是在跟算法演进赛跑。谁的架构能多覆盖一两代网络结构的变化谁的使用周期就更长价值也更大。EyrISV2这种方向不管最后实验结果如何至少在“怎么把灵活性和能效同时握在手里”这个问题上提供了一个很有参考价值的思路。按我个人的阅读习惯碰到这种好架构细节我一般会至少读两遍。第一遍把整体架构和数据流机制弄懂第二遍盯着实验里那些图表反推每个设计选择在数据上是怎么兑现的。这篇作为第一部分后面的实验解读如果能看到更细的功耗拆分和面积拆解那我会再单独写一篇把这套柔性架构的家底彻底摊开来看。第一篇先到这儿后面读完第二部分再接着聊。