文章主要内容总结本文聚焦大型语言模型（LLMs）在社会科学调查中作为人类代理时的响应稳健性及类人偏差问题。研究团队选取9个不同规模、来源的LLMs，基于世界价值观调查（WVS）的62个规范性问题，设计了11种扰动（包括问题措辞变化如拼写错误、同义替换、 paraphrasing，以及答案选项结构变化如顺序颠倒、移除“不知道”选项等），开展了超过167,000次模拟访谈。研究发现：所有模型均存在近期偏差（recency bias），即倾向于选择最后呈现的答案选项，且偏差强度因模型而异；模型规模与稳健性正相关：更大的模型（如Llama-3.3-70B、Gemini-1.5-Pro）响应更稳定，但仍对语义变化（如paraphrasing）和组合扰动敏感；LLM的部分偏差与人类调查响应偏差一致（如近期偏差），但在意见浮动（opinion floating）和中心趋势（central tendency）等偏差上表现出模型依赖性；组合扰动（如paraphrasing+答案顺序颠倒）对模型稳健性影响最大，而拼写错误中字母交换的影响小于随机字符替换。创新点大规模、多维度实验设计：覆盖9个不同LLMs（含开源与闭源），11种扰动类型，167,000次访谈，为评估LLM在调查场景中的稳健性提供了基准；系统揭示类人偏差：首次通过扰动实验证实LLMs普遍存在近期偏差，且部分偏差与人类调查响应偏差对齐，为理解L Prompt Perturbations Reveal Human-Like Biases in LLM Survey Responses
文章主要内容总结本文聚焦大型语言模型（LLMs）在社会科学调查中作为人类代理时的响应稳健性及类人偏差问题。研究团队选取9个不同规模、来源的LLMs，基于世界价值观调查（WVS）的62个规范性问题，设计了11种扰动（包括问题措辞变化如拼写错误、同义替换、 paraphrasing，以及答案选项结构变化如顺序颠倒、移除“不知道”选项等），开展了超过167,000次模拟访谈。研究发现：所有模型均存在近期偏差（recency bias），即倾向于选择最后呈现的答案选项，且偏差强度因模型而异；模型规模与稳健性正相关：更大的模型（如Llama-3.3-70B、Gemini-1.5-Pro）响应更稳定，但仍对语义变化（如paraphrasing）和组合扰动敏感；LLM的部分偏差与人类调查响应偏差一致（如近期偏差），但在意见浮动（opinion floating）和中心趋势（central tendency）等偏差上表现出模型依赖性；组合扰动（如paraphrasing+答案顺序颠倒）对模型稳健性影响最大，而拼写错误中字母交换的影响小于随机字符替换。创新点大规模、多维度实验设计：覆盖9个不同LLMs（含开源与闭源），11种扰动类型，167,000次访谈，为评估LLM在调查场景中的稳健性提供了基准；系统揭示类人偏差：首次通过扰动实验证实LLMs普遍存在近期偏差，且部分偏差与人类调查响应偏差对齐，为理解L RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
