文章主要内容和创新点
主要内容
本文聚焦于大型语言模型（LLMs）在识别科学研究（尤其是AI领域）局限性中的能力，通过构建基准和实验评估，探索其辅助同行评审的潜力。具体包括：
- 局限性分类法：提出了一个针对科学研究（侧重AI）的局限性分类框架，涵盖方法论、实验设计、结果分析、文献综述4大方面及11个子类型（如数据质量低、基线不足、指标不充分等）。
- LIMITGEN基准：构建了首个评估LLMs识别局限性能力的综合基准，包括：
- LIMITGEN-Syn：通过对高质量论文进行可控扰动（如删除实验细节、省略基线对比）生成的合成数据集，用于精准评估模型对特定局限性的识别能力。
- LIMITGEN-Human：从ICLR 2025提交论文的同行评审中收集的人类编写的局限性，用于验证分类法和合成数据集的有效性。
- 检索增强生成（RAG）应用：将RAG技术（通过Semantic Scholar API检索相关文献）融入LLMs，提升其识别局限性的准确性和反馈的建设性。
- 实验评估：对多种LLMs（如GPT-4o、Llama-3.3-70B）和多智能体系统（MARG）进行评估，发现现有模型表现仍有限，但RAG能显著提升性能；同时验证了研究在生物医学、计算机网络等领域的泛化性。
