取四条相似提示词的激活,发现矩阵只有一个主要奇异值,然后宣布模型“思维坍缩”。这个结论跳过了最关键的一层:矩阵是怎样采样和预处理出来的。
Anthropic 在 2026 年 7 月的 global workspace 研究中讨论特定内部表征及干预证据。低维结构可以承载有用信息,不能仅凭维度少就判定能力退化。更需要问的是:哪些输入、哪一层、什么方向,以及改动后哪些行为发生变化。
对 n 条样本组成的 n×d 矩阵,秩最多是 min(n,d);先按列中心化后,秩最多 n−1。只有四条样本,却声称测到 4096 维表示的全部有效维度,本身就不成立。数值秩还依赖阈值、激活缩放和浮点精度。
下面不用额外库,用消元求构造矩阵的数值秩,展示“相同样本”和“多样样本”的差别。它不是稳定 SVD 的替代品。
def rank(matrix, tol=1e-10): a = [list(map(float, row)) for row in matrix] if not a or not a[0] or any(len(row) != len(a[0]) for row in a): raise ValueError("nonempty rectangular matrix required") r = 0 for col in range(len(a[0])): pivot = max(range(r, len(a)), key=lambda i: abs(a[i][col])) if abs(a[pivot][col]) <= tol: continue a[r], a[pivot] = a[pivot], a[r] scale = a[r][col] a[r] = [v / scale for v in a[r]] for i in range(len(a)): if i != r: k = a[i][col] a[i] = [u - k*v for u, v in zip(a[i], a[r])] r += 1 if r == len(a): break return r same = [[1, 2, 3, 4] for _ in range(4)] diverse = [[int(i == j) for j in range(4)] for i in range(4)] assert rank(same) == 1 assert rank(diverse) == 4 print("identical rows rank=", rank(same)) print("independent rows rank=", rank(diverse))图中另列了一组秩 1 与秩 4 的构造矩阵,柱形仅示意零与非零奇异值;代码改用更简单的相同行和单位矩阵,便于手工核算。真实模型里,重复提示、公共系统提示和 padding 都可能制造低秩结构。若拿不同模型比较,还需统一样本集合、层位置、token 选择、中心化方式与谱阈值。
更有解释力的实验是把谱变化与任务行为配对:移除某个方向后是否影响目标任务;同样大小的随机方向干预是否也产生相似损伤;无关任务是否被破坏。若只是整体缩放激活让阈值以下的奇异值变多,就不应宣称发现了新的认知机制。
本文没有提取真实模型激活,也没有做因果干预。标准库消元例子验证了采样能改变矩阵秩;关于模型能力的结论,仍需要独立行为测量支撑。