MLIR的Memory Hierarchy（存储层次）建模一个让我熬夜三天的bug去年做AI加速器编译器的时候，遇到一个诡异的性能问题：同样的计算图，在x86上跑得飞快，换到我们自研的NPU上，内存带宽利用率死活上不去。调试了三天，最后发现是MLIR的memory hierarchy建模出了问题——编译器以为某个buffer在L1 cache里，实际上它已经被挤到L2去了，导致每次读写都多了一次cache miss。这个坑让我意识到，MLIR的存储层次建模不是纸上谈兵，它直接决定了你生成的代码能不能充分利用硬件特性。今天就把这块硬骨头啃下来。存储层次在MLIR中的表达方式MLIR里没有像C语言那样直接操作内存地址的机制，它通过memref类型和一系列属性来描述数据的存储位置和访问模式。核心概念就三个：MemorySpace、MemoryEffects和AffineMap。MemorySpace：给数据贴个“位置标签”// 定义一个放在L1 scratchpad上的buffer %buf = memref.alloc() : memref1024xf32, #memory_spacel1 // 定义放在DDR上的buffer %d 157、MLIR的Memory Hierarchy（存储层次）建模
MLIR的Memory Hierarchy（存储层次）建模一个让我熬夜三天的bug去年做AI加速器编译器的时候，遇到一个诡异的性能问题：同样的计算图，在x86上跑得飞快，换到我们自研的NPU上，内存带宽利用率死活上不去。调试了三天，最后发现是MLIR的memory hierarchy建模出了问题——编译器以为某个buffer在L1 cache里，实际上它已经被挤到L2去了，导致每次读写都多了一次cache miss。这个坑让我意识到，MLIR的存储层次建模不是纸上谈兵，它直接决定了你生成的代码能不能充分利用硬件特性。今天就把这块硬骨头啃下来。存储层次在MLIR中的表达方式MLIR里没有像C语言那样直接操作内存地址的机制，它通过memref类型和一系列属性来描述数据的存储位置和访问模式。核心概念就三个：MemorySpace、MemoryEffects和AffineMap。MemorySpace：给数据贴个“位置标签”// 定义一个放在L1 scratchpad上的buffer %buf = memref.alloc() : memref1024xf32, #memory_spacel1 // 定义放在DDR上的buffer %d RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
