ESG和CSR这两个词，这几年在投研圈和数据分析圈里被提得越来越多。我最早接触这块是在做一个行业可持续披露的横向对比项目，当时手头拿到的就是一份跨越十几年的上市公司社会责任报告与ESG报告文本库，时间跨度从2006年一直延伸到2023年。说实话，第一次打开那个文件夹的时候我是有点懵的——几千份PDF和TXT混在一起，命名规则五花八门，有的年份缺报，有的公司中途改名，有的报告从"社会责任"改叫"ESG"又改叫"可持续发展"，光是把这些文本理清楚就花了我将近两周。但也正是这段折腾，让我摸清了这类文本数据从清洗到落地的完整链路。这篇东西就是把我踩过的坑、验证过的流程、以及那些文档里不会写的细节，一次性摊开讲清楚，给准备上手这类数据的朋友省点时间。
1. 这类文本数据到底是个什么东西
1.1 从"社会责任报告"到"ESG报告"的命名演变
很多人拿到这批数据的第一反应是：为什么同一个东西有这么多叫法？这恰恰是理解这批文本的关键。2006年前后，国内上市公司披露的主流叫法是"社会责任报告"，英文对应CSR（Corporate Social Responsibility），内容偏重公益捐赠、员工关怀、环保投入这类叙事性描述。到了2015年之后，尤其是2018年以后，"ESG报告"（Environmental, Social, and Governance）逐渐成为主流，披露框架开始向量化指标靠拢，环境数据、治理结构、碳排放这些内容被单独拎出来成章。2020年之后又出现"可持续发展报告"的混合叫法。
这个演变对做文本分析的人意味着什么？意味着你不能用一套关键词去套所有年份。我最初做词频统计时就吃过亏——用"ESG"去检索2010年的报告，命中率几乎为零，因为那时候根本没人这么写。后来我改成按年份分段建立词典，2006到2014年用"社会责任""公益""环保"这类词，2015年之后逐步加入"ESG""碳中和""治理"等词，统计结果才靠谱。这个细节在原始数据说明里通常不会写，但你一上手就会撞上。
1.2 文本数据的三种常见形态与质量差异
这批数据里的文本，实际存在三种形态，质量差异很大，必须区别对待：
| 形态 | 来源 | 优点 | 缺点 |
|---|---|---|---|
| 原生PDF | 交易所披露原件 | 版式完整、含图表 | 需OCR或解析，表格易乱 |
| 转换TXT | PDF转文本 | 可直接读取 | 排版丢失、页眉页脚混入 |
| 结构化摘录 | 人工整理 | 字段规整 | 覆盖不全、有主观取舍 |
我个人的经验是：做定量指标提取，优先用原生PDF配合表格解析工具；做纯文本语义分析（比如主题建模、情感倾向），转换TXT够用但必须先清页眉页脚。结构化摘录适合快速摸底，但别拿它做严谨的计量，因为人工整理环节的取舍标准你无法复现。
1.3 谁适合用这批数据，能解决什么问题
说清楚适用人群，免得有人白费功夫。这批文本最适合三类人：一是做可持续披露质量研究的，比如想看披露详实度随年份的变化趋势；二是做文本挖掘与NLP应用的，把它当成一个天然的长文本语料库练手；三是做投研或行业对比的，想从报告措辞里读出企业的战略重心迁移。
它能解决的问题也很具体：披露意愿的量化（报告篇幅、章节数量）、议题关注度的时序变化（某类关键词的年度频率）、企业间的表述差异对比。但它解决不了的问题同样要讲明白——文本里的数字如果没经过结构化提取，是不能直接拿来做财务或环境绩效计算的，那是另一套活儿。
2. 拿到数据后的第一道工序：清洗与规范化
2.1 文件命名混乱是最大的拦路虎
我打开原始文件夹时看到的命名大概是这样：某公司2015社会责任报告.pdf、某公司_2015_CSR.pdf、2015年社会责任报告-某公司.pdf，甚至还有直接用股票代码命名的。跨十几年、上千家公司，命名规则能凑出十几种变体。这时候千万别急着批量处理，先做一件事：建立一份文件清单表，字段至少包括原始文件名、解析出的公司标识、报告年份、报告类型、文件格式。
解析公司标识和年份，我推荐用正则表达式配合人工抽检。年份相对好办，(20\d{2})基本能覆盖，但要注意有些报告标题里带"2015-2016"这种跨年表述，得定规则取哪个。公司标识更麻烦，因为存在改名、简称不一致的问题，我的做法是先按文件名里的中文串做模糊匹配，匹配不上的单独拉出来人工核对。这一步看着笨，但比后面数据错位了再回头查要省事得多。
2.2 文本清洗的四个必做动作
清洗环节我总结了四个动作，缺一不可：
- 去页眉页脚：转换TXT里最常见的污染源，通常是每页重复的公司名加页码。用行频统计就能识别——某一行在全文重复出现超过总页数一半，基本就是页眉页脚。
- 合并断行：PDF转文本经常把一句话拆成好几行，尤其是表格附近。按标点符号做断句重组，句号、分号结尾的才认为是完整句。
- 剔除目录与附录：目录部分全是章节标题加页码，对语义分析是噪声；附录里的表格数据如果做纯文本分析也该剔除，但如果要做指标提取则要单独保留。
- 统一全半角与空白符：中文文本里混入全角空格、不间断空格是常态，统一替换成标准空格，否则后续分词会出问题。
提示：清洗前后一定要各存一份，原始文件永远不要覆盖。我见过有人清洗脚本写错把源文件批量改坏的，那真是哭都来不及。
2.3 编码问题：GBK与UTF-8的拉锯战
老报告（尤其是2010年以前的）很多是GBK编码，新报告多是UTF-8。批量读取时如果不指定编码，轻则乱码重则报错。我的处理策略是：读取时先尝试UTF-8，失败则回退GBK，再失败用GB18030兜底。Python里可以写个小函数做编码探测，比一个个手动试快得多。这里有个坑——有些文件表面是UTF-8但内部混了GBK字符，这种只能靠异常捕获加逐行容错读取，别指望一次读干净。
def read_text_safe(path): for enc in ['utf-8', 'gbk', 'gb18030']: try: with open(path, 'r', encoding=enc) as f: return f.read() except (UnicodeDecodeError, LookupError): continue # 最后兜底：忽略错误字符 with open(path, 'r', encoding='utf-8', errors='ignore') as f: return f.read()这段代码不复杂，但能救回九成以上的编码问题文件。剩下那一成，通常是文件本身损坏，只能标记跳过。
3. 核心分析场景与实操落地
3.1 披露详实度的量化：篇幅与章节双指标
想衡量一家公司"披露得认不认真"，最直观的两个指标是报告总字数和章节数量。字数统计在清洗后直接算即可，但要注意剔除页眉页脚和目录，否则虚高。章节数量则要靠标题识别——中文报告的一级标题通常是"一、二、三"或"第一章"这类格式，用正则^[一二三四五六七八九十]+、或^第[一二三四五六七八九十]+章去匹配。
我做过一个对比：同一行业两家公司，A公司报告三万字、八个章节，B公司一万二千字、四个章节。单看字数A更详实，但细看B的章节里每章都有量化数据表，A则大段叙事。所以篇幅只是表象，得配合"量化数据密度"一起看——统计每千字里出现的数字和百分比数量，这个指标更能反映披露的实质含量。这个思路是我在实际对比中慢慢磨出来的，比单纯比字数有说服力得多。
3.2 议题关注度的时序分析：分段词典法
前面提过，跨年份做词频必须分段建词典。具体怎么操作？我按披露框架的演变把时间切成三段：2006-2014（CSR叙事期）、2015-2019（ESG过渡期）、2020-2023（ESG深化期）。每段维护一份核心议题词典，比如环境类在早期用"节能减排""环保投入"，后期加入"碳排放""碳中和""气候风险"。
统计时按年份聚合词频，再除以该年报告总字数做归一化，得到"每万字提及次数"。这样画出来的时序曲线才有可比性。我实测下来，环境类议题的提及频率在2018年后有明显跃升，治理类议题则在2020年后增长最快，这跟披露规则的收紧节奏是吻合的。归一化这一步千万别省，否则报告数量多的年份词频自然高，结论就失真了。
3.3 文本相似度与模板化检测
有个挺有意思的分析方向：检测报告是不是"套模板"写的。做法是计算同一年度不同公司报告之间的文本相似度（比如用TF-IDF加余弦相似度），相似度异常高的，大概率是套了同一份模板。我跑过一次，发现某些年份确实存在明显的模板聚集现象，尤其是中小公司的报告，开头几段几乎一字不差。
这个分析的价值在于：它能帮你识别出哪些报告是"应付式披露"，在做披露质量研究时可以把这类样本单独标记。操作上注意先去掉公司名、年份这些会人为拉低相似度的实体词，否则同一模板因为公司名不同，相似度会被稀释。
3.4 关键指标抽取：规则加人工校验
如果要做定量指标提取（比如环保投入金额、员工人数、碳排放量），纯靠正则很难覆盖所有表述变体。我的做法是规则抽取加人工抽检：先用正则匹配"环保投入XX万元""员工总数XX人"这类高频句式，抽出来的结果按置信度排序，高置信度的直接采用，低置信度的抽样人工核对，核对结果反过来修正规则。
这套流程跑下来，召回率能到七八成，剩下的靠人工补。别追求一步到位的全自动，文本数据的现实就是规则永远追不上表述的多样性，留一道人工校验的关口是负责任的做法。
4. 实操中踩过的坑与排查手册
4.1 年份错位：最隐蔽也最致命
有次我做年度趋势图，发现某年数据突然断崖式下跌，查了半天才发现是文件年份解析错了——一批报告标题写的是"2018年度报告"，但实际披露的是2017年数据，我的正则把标题里的2018当成了数据年份。这类错位在跨年披露里很常见。
排查思路：建立"报告年份"和"数据年份"两个字段，标题里的年份通常是报告年份，数据年份要看正文里的"本报告期"表述。两者不一致时以正文为准。这个坑我踩过一次之后，所有项目都强制双字段校验。
4.2 公司改名导致的样本断裂
一家公司十年里改过两次名，如果按公司名做面板，样本就断了。解决办法是维护一张公司标识映射表，用股票代码作为主键（代码相对稳定），名称变更记录在附表里。没有代码的（比如早期部分报告），靠人工建立新旧名称对应关系。这一步偷懒，后面所有按公司的纵向对比都会出错。
4.3 常见问题速查表
| 问题现象 | 可能原因 | 排查动作 |
|---|---|---|
| 文本乱码 | 编码不匹配 | 按UTF-8→GBK→GB18030顺序重试 |
| 词频异常高 | 页眉页脚未清 | 检查高频重复行 |
| 相似度普遍偏高 | 实体词未去 | 剔除公司名、年份后再算 |
| 年份趋势断裂 | 报告年份与数据年份混淆 | 双字段校验，以正文为准 |
| 指标抽取漏检多 | 正则覆盖不足 | 抽样人工核对，反哺规则 |
注意：清洗脚本一定要先在少量样本上验证，确认无误再批量跑。我见过直接对全量数据跑未测试脚本，结果把几千份文件改坏的案例，恢复成本极高。
4.4 存储与版本管理的小技巧
文本数据体积不大但文件数量多，建议按"年份/公司标识"两级目录存放，文件名统一为公司标识_报告年份_报告类型.txt。每次清洗产出新版本时，用带日期的目录名区分，比如cleaned_20240115。这样回溯方便，也不会出现"到底哪个是最新版"的混乱。我早期图省事全堆一个文件夹，后来找特定版本找了半天，从那以后就老老实实分目录了。
5. 从文本到洞察：几个能直接复用的分析角度
5.1 披露意愿的行业差异对比
把公司按行业分组，比较各组平均报告字数、章节数、量化指标密度，能看出哪些行业披露更积极。我实测下来，金融和部分制造业的披露详实度普遍高于传统行业，这跟监管压力和投资者关注度有关。做这个对比时注意控制公司规模变量，大公司天然披露更详实，不控制的话结论会偏向"大公司多的行业披露好"，那就没意义了。
5.2 议题迁移的文本证据
用主题模型（比如LDA）对分段文本做主题聚类，看不同年份的主题分布变化。我跑出来的结果是：早期主题集中在"公益慈善""员工关怀"，中期"环境保护"权重上升，后期"公司治理""气候风险"成为独立主题。这个迁移轨迹跟披露框架的演进高度吻合，可以作为定性判断的文本佐证。主题数目的选择要靠困惑度加人工解读，别迷信自动定数。
5.3 表述风格的量化：从叙事到量化的转变
统计每份报告里"数字+单位"的出现密度，能刻画披露风格从叙事向量化的转变。早期报告大段文字描述，数字密度低；近年报告表格和量化表述明显增多。这个指标简单但很有解释力，我在几个对比项目里都用它作为"披露成熟度"的代理变量，效果不错。
6. 我个人在这类项目里的几点体会
做文本数据这行，最深的体会是清洗占七成、分析占三成。很多人一上来就想跑模型出结论，结果被脏数据坑得反复返工。我的习惯是清洗阶段就把质量报告做出来——多少文件成功解析、多少编码异常、多少年份缺失，心里有本账，后面分析才踏实。
另外，这类跨年份文本数据最大的价值不在单点结论，而在时序上的可比性。所以任何处理动作都要问一句：这个操作会不会破坏跨年可比？比如分词词典如果每年都换，词频就没法纵向比了。保持处理口径的一致性，比追求单年数据的极致精细更重要。
最后分享个小技巧：建一个"异常样本库"，把清洗和抽取过程中遇到的所有怪文件、怪表述都存进去。下次做类似项目，这个库就是现成的测试集，能帮你快速验证新脚本靠不靠谱。我现在的异常库攒了上百个样本，每次写新规则先拿它过一遍，省了大量返工时间。这个习惯看着不起眼，但用久了就知道有多值。
