传统的疏散仿真是纯物理模型:给定一个空间、一群点、一个出口,用元胞自动机或者社会力模型算出人流怎么走、多久能走完。这类模型的问题是,它假设人是理性的、匀速的、只服从物理规律的粒子——但真实灾难现场里,人会愣住、会往回跑找家人、会因为看不清出口标志而原地打转、会因为群体恐慌而互相踩踏。这些恰恰是纯物理模型算不出来的东西,却是历史上大多数踩踏事故里真正致命的部分。
物理模型想象的人群 vs 灾难现场真实的人群
斯坦福:AI分身能有多像你
前三个案例都在解决“怎么让一群虚拟人看起来像真人在逃命”,斯坦福 HAI 这项由博士生 Joon Sung Park 主导的研究问的是更基础的问题:AI 分身到底能在多大程度上准确预测一个具体真人会怎么做决定。团队招募了 1052 名具有全美代表性的受试者,先做两小时深度访谈,再结合社会调查量表(GSS)、五因素人格测试、五种行为经济学博弈实验,最后比较AI生成的“数字分身”和真人本人两周后重新作答的结果有多接近。结论是:结合访谈和问卷数据的智能体,复现真人自己两周后重复作答的准确率达到 0.86,比单纯依赖人口统计学变量的传统方法明显更准,也明显减少了按政治立场、种族、性别分组时的预测偏差。
Park在斯坦福HAI的采访中说得很直接:“这些语言模型其实是在扮演它刚刚采访过的那个人。”(The language model is trying to role-play as the person it just interviewed.)他认为访谈数据比单纯的人口统计标签更关键,因为“访谈数据的好处在于,它包含了每个人的独特之处,语言模型因此不会那么频繁地做出基于种族的笼统概括”。他也把这项研究的野心说得很明白:“我确实认为,现在有很多社会问题我们没能很好解决,而这个测试平台可以让它们变得更容易应对,气候变化、疫情政策这类'棘手问题'都需要极其复杂的规划和条件推演。”这项研究的价值在于,它给“ AI 分身到底有多可信”这个问题提供了一个可以量化的基准线,而这条基准线,正是前面几个逃生仿真系统能不能被信任的地基。
"We argue that there are reasons to believe that LLMs will exacerbate rather than resolve the long-standing challenges of ABMs. The black-box nature of LLMs moreover limit their usefulness for disentangling complex emergent causal mechanisms." ——Larooij & Törnberg, arXiv:2504.03274
他们提出的第一个问题是黑箱性质:“大语言模型从根本上是黑箱模型……几乎不可能确定为什么某个特定输入会产生某个特定输出。”更麻烦的是,同样的输入在不同次运行里可能给出不同的输出,这直接威胁到科学研究最看重的可复现性。第二个问题是偏差与刻板化:“模型经常错误地表征群体及其特征,经常表现出夸张的刻板印象”。第三个问题是幻觉和分布外场景下的失控:“在历史上没有先例的场景中,模型行为可能变得不稳定”——而灾难现场,恰恰经常是“历史上没有先例的场景”。
Törnberg 团队给出的核心诊断是:“验证仍然是核心挑战”,而且“加入大语言模型,恶化而非解决了这个问题”(“the addition of LLMs exacerbates rather than resolves this issue”)。他们认为,目前很多研究依赖的是“表面效度或者只是松散关联底层机制的结果指标”,这让这类模型"占据了一个模糊不清的方法论位置"——听起来很像科学,但既不完全是传统的基于规则的仿真,也不是被充分验证过的统计模型。
这个批评并非无的放矢。就连专门做“数字分身”验证的斯坦福团队,也在论文里承认自己的方法存在局限;另一项研究疫苗犹豫政策模拟的论文里,作者们同样明确写道“这项早期探索不旨在提供确定的政策指导”,并且发现不同大模型之间的表现差异巨大,部分模型的偏差能超过 20%,这背后正是“预训练数据偏差”在作祟。换句话说,连身处这个领域内部、真心想把这件事做成的研究者,也在论文的角落里,写下了和 Törnberg 遥相呼应的保留意见。