• 人工智能
• NLP
• 大模型

GLiFormer Large v1是一个 5.756 亿参数的开源多任务信息抽取模型：一个 DeBERTa 编码器同时承担命名实体识别（NER）、文本分类、关系抽取、结构化记录抽取和文本嵌入五类任务。本文带你逐表解读它的官方基准评测数据——模型在 26 个 NER 数据集（131,156 条样本）、13 个分类数据集（79,828 条样本）、4 个关系抽取基准以及 500 条结构化抽取样本上完成验证，其中结构化抽取的 JSON F1 达到91.10%。完整数据来自本仓库 README.md，可直接对照原文核对。

一个编码器扛下五大任务 🎯

与"一个模型只干一件事"的传统做法不同，GLiFormer Large v1 的思路是让多个任务头共享同一个 DeBERTa 编码器，推理时再动态指定任务标签和抽取模式：

• 命名实体识别：推理时传入实体类型列表即可抽取，如person / organization / location；
• 文本分类：支持单标签，也支持命名分组（同时输出情感、主题等多组标签）；
• 联合关系抽取：实体与关系一起预测，输出头-关系-尾三元组；
• 结构化抽取：直接把文本变成 Python 字典，支持 Pydantic 多级嵌套模式；
• 文本嵌入：输出 1024 维语义向量，可用于相似度计算。

这个架构细节可以从模型配置文件 gliner_config.json 里印证：backbone_type为deberta_2d，model_variant为layout，内置布局感知的位置编码——意味着它除了纯文本，还设计为能处理 PDF 文档版式输入（本仓库公布的评测结果聚焦文本任务）。

安装使用只需一行命令：

pip install gliformer -U

然后调用GLiFormer.from_pretrained("knowledgator/gliformer-large-v1")加载，GPU/CPU 均可推理。

基准数据总览：4 类任务，先看"记分规则"

不同任务使用不同的评测指标，解读数据前需要先看懂记分规则：

三个关键概念，一次说清：

1. 严格实体 F1（strict F1）：实体的边界和类型都完全匹配才算对，是 NER 领域最严格的口径；
2. 数据集平均分：每个数据集权重相同，小数据集和大数据集同等计入平均，避免大数据集"拉高均分"；
3. JSON F1：先对齐记录再比较扁平化的 JSON 值路径，不要求记录顺序一致，也允许评测器做有限的边界修复——它不是严格的字符串比对。

NER 基准：26 个数据集完整成绩 🔍

NER 是本次评测体量最大的部分，26 个数据集横跨经典基准（CoNLL-2003、Ontonotes）、生物医学（GENIA_NER、bc5cdr）、法律（HarveyNER）、社交媒体（TweetNER7）等方向，按 F1 从高到低排列：

从这张表中能读出三条规律：

• 最好成绩在通用领域：WikiNeural 以 80.16 的 F1 一骑绝尘，精确率、召回率双双在线；
• 跨领域迁移是强项：CrossNER 五个领域（政治、科学、音乐、文学、AI）平均 F1 达 64.35，明显高于 26 数据集总平均 50.91，说明模型对"训练中较少见到的领域"有较好的泛化能力；
• 垂直领域是短板：法律领域的 HarveyNER 仅 13.81，虚构文本的 FabNER 21.99——标签细粒度、实体分布与训练分布差异大的场景，成绩会明显下滑。另外多数数据集呈现"高召回、较低精确率"的模式（如 MultiNERD 召回 91.91、精确率 54.96），实际使用时可通过调高threshold换取更高的精确率。

文本分类：13 个数据集，macro-F1 平均 75.03

分类任务覆盖情感分析、垃圾邮件识别、主题分类等常见场景，按 macro-F1 排序：

规律非常清晰：类别越少，成绩越好——二元情感（enron_spam 97.95、sst2 92.97）接近饱和；而类别多、粒度细的任务明显吃力：sst5 五档情感 40.33、emotion 八类情绪 48.07、cap_sotu 55 类主题 49.00。两个补充细节：20 Newsgroups 的预测覆盖率 97.15%（其余数据集均为 100%）；单标签任务的 Micro-F1 与准确率相等。

联合关系抽取：零样本 CoNLL04 最能打 🏆

关系抽取部分使用模型自己预测的实体（而非标准答案实体）进行联合抽取，分数会因实体错误传导而偏低，这是评估该任务时的必要背景：

两点解读：

• 零样本设置最有参考价值：CoNLL04 zero-shot 要求模型抽取训练中未见过的关系类型，F1 35.83 是四项中最高；若再加上端点实体类型校验（typed F1），得分为 34.73%；
• DocRED 与 CrossRE 召回率偏低（8% 左右），且官方明确提示：base 与 large 两个版本是在不同规模的子集上评测的，关系分数不能视为同题比较。

结构化抽取：91% F1 从哪来 📊

这是本模型最亮眼的数字：500 条多级结构化抽取样本，无顺序、边界容错的 JSON F1 = 91.10。按标准答案 JSON 的嵌套深度分桶看：

几个值得注意的点：

• 嵌套越深并不掉分，4 层以上各桶稳定在 91~95 区间，说明多级记录组装能力比较扎实；
• 官方论文已把该评测的样本规模修正为 500（早期注释中的 300 是过时的分桶计数）；
• 模型支持 Pydantic 嵌套模式并可用validate_output=True校验输出——但官方提醒：校验只保证结构符合 schema，不保证事实正确，模型仍可能把记录挂到错误的父节点下。

如何复现这份评测数据

评测入口脚本位于 GLiFormer 框架仓库的gliformer_eval模块（框架为独立仓库，不在本模型仓库内）。以 NER 评测为例：

python gliformer_eval/eval_ner.py \ --model knowledgator/gliformer-large-v1 \ --data data/NER \ --datasets CrossNER_AI CrossNER_literature \ --output eval_results/nner.json

• 每个数据集目录需包含labels.json与test.json；
• 其他任务入口：eval_classification.py、eval_relex.py、eval_structuring.py，参数说明可用--help查看；
• 完整复现需要对齐原始数据子集、schema 标签、阈值与解码配置。

局限性与使用建议 ⚠️

官方 README.md 中明确列出了使用边界，选型前务必了解：

• 已发布结果只覆盖英文任务；其他语言、文档版式输入、嵌入类基准的质量尚无数据支撑；
• 标签写法、schema 措辞、领域、输入长度和阈值都会影响预测结果；
• 抽取可能漏信息、选错边界，或把记录挂到错误的父级；
• 固定的记录锚点数量与 span 宽度限制了抽取容量；
• 该检查点没有视觉、音频或开放关系头——纯文本与联合关系场景可用，开放关系抽取（open relation）不可用。

适合场景：从英文文本中抽取带标签的实体、候选类别、关系与结构化记录，以及生成文本相似度向量。

模型仓库文件速查 📁

一句话总结：GLiFormer Large v1 用 5.756 亿参数换来了"一个模型五类任务"的便利性——结构化抽取 91.10% 的 JSON F1 是它的最强项，跨领域 NER 64.35 的领域均分表现稳健；如果你做的是英文文本的多任务信息抽取，这套基准数据可以作为选型评估的直接参考。

• 人工智能
• NLP
• 大模型