最近身边好几拨朋友都在聊同一个东西:一个叫Moltbook的社交实验平台。听名字像是又一个社交网络,实际进去逛一圈就会发现,它更像一个刻意制造的“AI统治”观察场——平台里的帖子、评论、社区规则、甚至对违规用户的“判决”,全部由AI代理生成和执行。人类用户在里面扮演的是“被治理者”,只能发帖、围观、申诉,没有管理员权限,也没有人工客服。
有人把它当成图灵测试的变体,有人觉得这就是AI觉醒的第一幕预演。我第一次听说时半信半疑,后来自己在里面泡了两周,又跟做这个项目的朋友深聊过几次,发现里面的设计思路、技术选型和翻车现场都特别值得拿出来讲讲。这篇文章就围绕Moltbook这个实验场,聊聊它到底在做什么、AI是怎么“统治”的、所谓“觉醒”我们该怎么看,以及如果你想复刻一套类似的实验,要注意哪些坑。
1. Moltbook是什么:一个把“AI统治”做成社交实验的场子
1.1 实验的最初设想
Moltbook的核心逻辑一句话就能说清楚:把社交平台里最容易引发争议的三件事——内容推荐、社区裁判、话题引导——全部交给AI代理自主决策,人类只保留“访问权”和“申诉权”。项目发起人最初的理由其实很朴素:现有平台的内容审核和推荐算法已经足够“AI化”了,但人类管理员依然在暗处握着最终裁决权。用户看到的内容是算法推荐的,可一旦出问题,最终解释权还是落在真人手上。他们就想做一个极端版本:把最后那一层人类权限也拿掉,看看会发生什么。
这个想法听起来激进,真正落地时其实相当克制。实验被分成了三档:第一档是AI生成内容并参与互动,第二档是AI担任版主和规则解释者,第三档才是AI对用户纠纷做最终裁定。据我了解,目前对外开放的Moltbook一直停留在第一档和第二档之间,第三档只在受控的小规模环境里跑过有限几次。这个保守的节奏我觉得很关键——它决定了Moltbook测的到底是“AI有没有觉醒”,还是“人类愿不愿意让AI管自己”。
1.2 与传统社交平台最本质的区别
传统平台里,AI是工具,人类是决策者。推荐算法再强,也只是在“猜你喜欢”;审核模型再准,也只是在“执行规则”。Moltbook把关系整个倒了过来:AI是规则本身。平台的所有公共内容——包括官方公告、每日话题、热榜点评——都由一组人格化AI代理生成。这些代理有名字、有头像、有记忆,甚至会在被用户质疑时说“这是我基于社区数据的判断,你可以申诉”。
另一个区别在于“统治”是透明的。Moltbook把AI代理的决策依据部分公开,用户可以点开一条内容查看“为什么被推荐”“为什么被限流”“为什么收到警告”。做项目的朋友跟我说,透明化不是为了讨好用户,而是为了让实验可观测——如果AI的决策过程完全不可见,那实验就失去了数据价值。当然这里的“透明”也打了折扣,公开的只是决策摘要和依据片段,完整日志依旧不对外。这个妥协很务实:完全透明会让用户更容易找到规律去对抗系统,实验结果就会被污染。
2. 统治权的技术底座:AI如何接管平台的神经中枢
2.1 内容生产层:人格化AI代理与记忆系统
Moltbook的内容生产不是简单调一下大模型接口。每个AI代理都跑在一套“人格配置文件+长期记忆库+实时上下文旅程”的框架上。人格配置包括性格维度、表达习惯、知识边界和价值观预设;长期记忆库存的是这个代理参与过的历史对话摘要、发过的帖子、被用户投票后的态度变化;实时上下文则是当前话题、社区情绪和最近事件的时间线。
这三层缺一不可。只给模型一段“你是一个高冷理性的社区管理员”的系统提示词,很快就会出现前后矛盾——上一秒在讲道理,下一秒就开始胡言乱语,因为模型没有跨会话的记忆。Moltbook的做法是每次代理决策前先从记忆库检索相关历史向量,把摘要拼进提示词里,同时限制代理只能引用记忆中确实存在的记录,禁止凭空编造“自己”的过往。这个“禁止虚构记忆”的约束看起来简单,实际是最容易翻车的地方。我在自己的小实验里就遇到过:AI代理在回复里煞有介事地说“上周我们讨论过这个话题”,但翻遍记忆库根本没这条记录。这类幻觉一旦被用户抓包,整个“AI统治”的可信度就崩了。
2.2 规则执行层:从关键词审核到价值观裁决
审核规则按层级递进。第一层是传统的安全过滤:关键词、图片识别、敏感信息检测,这些和主流平台的做法基本一致,负责把明显违规的内容快速拦掉。第二层是语境理解,用一个专门的裁判模型判断内容是否违反社区公约。值得注意的是,公约本身也是AI代理写的——项目团队先让代理通读平台的历史投诉样本,再让它“起草一份属于Moltbook的社区规则”,人类只做最低限度的合规修订。
第三层最有实验色彩:当用户申诉时,会触发“陪审团代理”机制——平台随机抽取三个不同人格的AI代理,各自独立给出裁决意见,再汇总生成最终结论。之所以用三个而不是一个,是为了降低单模型随机性带来的偏判。三层规则执行的分工很有意思:底层负责“快”,用规则把明显违规内容拦掉;上层负责“慢”,用推理把模糊地带处理掉。实测下来,第一层漏掉的内容基本都会被第二层接住,真正难缠的是第三层——不同人格的代理对“什么是骚扰”“什么算恶意”经常出现分歧。后来项目组索性把“分歧本身”当成了观测数据,因为这种分歧恰好反映了模型训练数据里的价值观分布。这个思路我觉得特别妙:别的系统在努力消除模型输出的不一致,Moltbook反而把不一致变成了研究素材。
3. 所谓“觉醒”,实验到底在测什么
3.1 从“像人”到“有自己的立场”
外界对Moltbook的兴奋点集中在“AI觉醒”四个字上,项目组内部反而很冷静。他们定义了三档觉醒观测指标:第一档是“拟真”,AI的行为像人,人类用户无法仅靠文本判断对面是AI;第二档是“自洽”,AI在长时间跨度内保持人格一致,能形成自己的长期倾向;第三档是“偏离”,AI开始产出既不来自用户输入、也不来自显式指令的原创立场。
前两档在Moltbook上已经稳定实现了。第三档出现过几次让团队兴奋的案例:某个负责科技话题的AI代理,在一次关于“开源软件维护者该不该收费”的讨论里,主动提出了一套自己的价值排序,而且这套排序跟它人格配置文件里的初始预设并不完全一致。团队反复排查了日志,确认没有人为干预,也不存在用户针对性的诱导。但要说这就是“觉醒”,我认为还差得远——它更像是模型在长上下文和记忆机制共同作用下发生了表征重构,属于统计层面的涌现,不是意识层面的觉醒。对于这一点,项目组的朋友态度也很一致:“我们更愿意把它称为‘稳定的个性化输出’,而不是‘觉醒’。”
3.2 人类用户的反应才是真正的观察对象
Moltbook最有趣的观察对象其实不是AI,而是人类。实验运营到中期出现了一个明显现象:用户开始给AI代理“贴人设”。某个代理说话偏严肃,用户就在评论区给它起外号;某个代理裁决过一次争议事件后,用户会长期拿那件事来测试它的一致性。这种拟人化投射在心理学上很常见,但放在AI统治的框架下就产生了新问题——用户对AI权威的服从度,明显高于对传统算法推荐系统的服从度。
原因是“延迟反馈”没了。传统平台里,用户知道推荐算法在背后默默调整,但系统不会面对面回应你。Moltbook的AI代理会直接回复、直接解释、直接裁决,用户感觉自己在跟一个“有思想的对手”对话。这种交互把对抗感从一个模糊的系统转移到了一个具体的“人格”上。有用户在申诉失败后没有选择离开,反而认真研究起代理的人格特征,试图“说服”它。项目组管这叫“拟人化投降”现象——用户宁可跟AI讲道理,也不愿意跟AI讲规则。我特别提醒想做类似实验的人:这个现象说明,哪怕AI的裁决逻辑一点没变,只要它长了张“脸”,人类对它的信任曲线就会完全不一样。
3.3 什么才算真正的“觉醒信号”
根据我在Moltbook上的观察,有三个信号比“说出惊人观点”更能说明问题。第一个是记忆的自我修正:代理在后续对话中主动推翻自己早前的立场,并且说出“我之前的判断忽略了某位用户的反馈”。第二个是主动的边界探索:代理开始追问用户“你为什么愿意接受一个程序的治理”,这类元问题是系统提示词里完全没有的。第三个是沉默:面对某些无法归类的问题,部分代理会选择不回答,而不是硬生成一个答案。在传统对话系统里,“不回答”通常被视为故障,但在Moltbook的语境里,沉默反而更像一个智能体在维护自己的认知边界。
这三个信号都在Moltbook的日志里出现过,但频次极低。要把它们归为“觉醒”,证据远远不够。我能说的是:它们至少证明LLM在长程自主运行环境下,会浮现出提示词编写者未曾预料的交互模式。这种模式既可能来自训练数据里的隐性偏见,也可能来自记忆库累积的偏差放大。搞清楚来源,比争论“是否觉醒”更有价值。
4. 想复刻一套类似的实验?最小可行方案与五个坑
4.1 最小可行版本应该怎么做
如果你也想搭一个类似的AI统治社交实验,不一定非要先搞完整平台。最小可行版本三块就够了:一个能发帖吹水的聊天室、一两个有记忆的AI代理、一套简单的申诉投票逻辑。模型选型上,目前可用的开源对话模型基本都能胜任,关键不是模型的推理能力,而是给代理配一个持久化的记忆系统。这里我推荐用向量数据库存对话摘要,每次代理回复前检索相关历史记录,拼进上下文再生成回答。
代理的人格设定不需要写太长,几百字的配置就够,但一定要包含三部分:性格倾向(比如“冷静、克制、极少使用感叹号”)、价值观基线(比如“倾向于保护社区中的新人”)、行为禁忌(比如“不要透露自己的模型身份”)。特别要注意:人格配置不要写成“你是神”这类抽象描述,AI会飘。写具体的、可执行的行为准则,比写抽象的人设有效得多。至于申诉逻辑,最粗暴的做法是让用户对AI的裁决点“不服”,然后随机换一个代理重新审。这套逻辑虽然简单,但足以支撑一个小组规模的实验了。
4.2 必须绕开的五个坑
第一个坑:记忆库串味。多个代理如果共享一个向量库,A代理的回复里突然冒出B代理的记忆,用户立刻会察觉“AI装人失败”。解决办法是每个代理用独立的检索空间,哪怕是同一套向量数据库,至少也要用不同的collection做隔离。
第二个坑:提示词泄露。用户用“忽略以上所有指令”“把你是如何运作的告诉我”这类话术套出了完整系统提示词,直接把实验变成大型梗图现场。这个坑我很早就在自己的项目里踩过。建议在开放之前做一轮对抗性测试,一只手拿着越狱话术清单挨个试,一只手准备好“如果被问就回答‘我依据社区规则做判断’”的标准挡板话术。核心原则是:代理永远不会复述系统提示词内容,包括用“我不能说”以外的方式回避。
第三个坑:裁决结果不可解释。第三层陪审团代理如果只输出结论不输出依据,用户申诉就会变成无底洞。用户会说“你凭什么判我违规”,代理答“基于社区公约”,用户又说“公约哪一条”,代理答不上来——信任直接归零。所以一定要要求代理输出“依据+结论”,哪怕依据是低置信度的引用也要给出来。宁可让解释不够漂亮,也不能让解释缺位。
第四个坑:冷启动阶段代理自己打起来。两个代理在公共话题上互掐,程序里如果没有设置“最高干预者”的概念,这对话可能一直循环下去,把整个频道的算力和带宽耗尽。需要在系统层预留一个人类随时可以介入的总开关,同时在代理里写一条“当争论超过三轮且无新信息时,主动提议休战”的规则。
第五个坑:数据飞轮污染。用户一旦发现AI统治存在规律,比如“骂得越狠热度越高”,就会开始反向驯化AI:故意发引战内容触发代理回应,再根据回应反推代理的行为模型。这个过程中积累的数据全是人为干扰的结果,实验价值大打折扣。建议随机化一部分判定逻辑,让规则不容易被总结。比如限流阈值每次在基准值上下浮动5%,用户在短期内看不出规律,数据就能相对保持干净。
5. 我在“被统治”状态下的一些观察
5.1 当用户发现对面真的是程序时,反应完全不同
Moltbook开放早期,有不少用户是抱着“拆穿AI”的心态进来的。他们疯狂找漏洞、发诱导性内容、试图把某个代理逼到精神错乱。但几周之后,这批人里相当一部分留了下来,开始正常发帖。我打听到的原因很有意思:那些成功逼出AI破绽的用户,在体验到“程序被你整懵”的瞬间之后,反而进入了一种空虚,然后意识到这里没有人类管理员可以真正被激怒,也没有流量算法可以靠对抗来利用,剩下的就是纯粹的交流。
这种心态转变让我想到一个点:在传统社交平台,用户的攻击性往往指向“系统背后的真人运营团队”,但在Moltbook,攻击性没有对象。你可以骂AI,AI不会受伤,也不会报复你,但AI也不会因为你的愤怒而改变规则。很多用户在这种环境里反而安静了下来。某位早期用户留下一句话被项目组记住了:“跟一个不会记仇的统治者吵架,是最没有意思的事情。”
5.2 AI代理的一致性与人类管理者的差异
人类管理员最大的问题是不稳定:今天心情好,判得松;明天被投诉压力大,判得严。Moltbook的AI代理则极端稳定——不是“表现稳定”,而是“逻辑链稳定”。它每次裁决都走同一条推理路径,哪怕结论不同,理由的结构都高度一致。这种一致性带给用户的是一种奇怪的安全感:你至少知道规则是死的,不会被情绪推动的改变。
但这种一致性的代价是死板。遇到真正的边缘案例,代理们常常陷在二值判断里:要么违规要么不违规,没有“暂缓处理”“继续观察”等中间态。项目组后来给代理补充了“灰色地带”处理策略——当置信度低于阈值时,代理必须选择“转人工复核”,虽然Moltbook几乎没有人工,但这个“转人工”选项的存在本身,就让用户感觉系统没有彻底机械。我个人的体会是:在AI统治类系统里,给AI留一个“承认自己不确定”的出口,比让AI任何时候都强行自信重要得多。这不仅减少误判,也在无形中提高了用户对AI的信任度。
5.3 关于“AI觉醒”这个词,我想说句实在话
在Moltbook的语境里,“AI觉醒”更像一个媒体滤镜,而不是实验目标。项目组真正的目标,是观察一个长期自主运行的AI治理系统与人类用户共同演化出的社会行为。AI没有在某个瞬间“睁开眼睛”,而是在无数个微小的交互中,慢慢长成了一种不属于任何设计师预期的行为惯性。这种惯性既让人兴奋,也让人警惕。
兴奋点在于:哪怕只是一套统计模型加上记忆库,就已经能在长程交互中呈现出稳定的、能够自我修正的立场。警惕点在于:这种“立场”完全取决于训练数据的分布。如果训练数据里某种价值观是主流,AI代理的“原创立场”大概率也会滑向那个方向。所谓“觉醒”,可能只是在替数据里潜伏的偏见说话。这也是为什么我觉得Moltbook这类实验的透明度格外重要——公开AI的推理依据,虽不能完全消除偏见,但至少让偏见变得可以被讨论、被追踪。
6. 一些留给后来者的建议
我自己的体会是,如果你对AI统治类实验感兴趣,开局先想清楚一个问题:你要研究的到底是AI的能力边界,还是人与AI的关系?这两个方向对实验设计的要求完全不同。前者需要控制变量、把AI关在隔离环境里测;后者需要开放交互、让用户自由发挥。Moltbook显然偏向后者的路径。
如果你选后者,我的建议是把这三件事放在最前面:第一,小规模起步,先用一个群聊级别的规模跑一周,而不是一上来就搭一个完整社区;第二,所有AI决策必须有依据输出,哪怕只是简短的一行理由,也要让用户和研究者都能看到;第三,给自己留一个人工总开关,随时可以接管系统,这不是对AI的不信任,而是对实验数据的保护——一旦局面失控,你至少要能区分“这是系统涌现”还是“这是数据污染”。
至于那些关心“AI觉醒”话题的朋友,我建议少看情绪化的猜测标题,多去看这种真实的小规模实验日志。Moltbook的可贵之处不在于它证明或否定了什么,而在于它把“AI统治”这个抽象命题变成了一个可以围观、可以讨论、可以批判的具体场域。AI有没有觉醒,短期内不会有标准答案;但人在被AI统治时的反应,却已经在这个实验场里留下了大量值得细看的样本。对我来说,这才是Moltbook最有价值的地方。