文章主要内容总结
本文聚焦于大语言模型(LLMs)在寄存器传输级(RTL)代码生成中的解码策略问题,提出了一种名为DecoRTL的运行时解码框架。传统LLM解码策略源于自然语言生成,难以满足RTL代码对结构和语义的严格要求,常导致生成代码出现幻觉、重复或无效等问题。
通过对RTL生成过程中token级熵的实证分析,作者发现LLM在结构模糊或语义复杂区域的信心较低,且标准解码策略无法区分需要确定性的语法关键区域和需要创造性探索的设计关键区域。为此,DecoRTL整合了两个核心组件:
- 自一致性采样:生成多个候选token,基于token级一致性重新排序,在保证正确性的同时维持多样性;
- 语法感知温度适应:根据token的语法和功能角色分类,动态调整采样温度——对语法关键token采用低温度(确保确定性),对探索性token采用高温度(鼓励多样性)。
该框架无需模型微调,仅在推理时运行。通过在多个开源LLM上使用VerilogEval基准测试,实验表明DecoRTL在语法有效性、功能正确性和输出多样性上均有显著提升,且执行开销可忽略不计。
创新点
- 实证分析RTL生成中的不确定性:通过分析RTL解码时的softmax分布,发现模糊语境中的token熵值更高(模型不确定性大),且这些区域易出现结构或语义错误;同时揭示RTL token的局部语法模式具有可预测性(前序token可推断当前token类别)。
- 对比重排序的自一