【新智元导读】AI版「狼人杀」巅峰局开大ღ★ღ◈!全球七大顶尖LLM狂飙演技ღ★ღ◈,210场高能对战ღ★ღ◈,GPT-5最终一举夺冠ღ★ღ◈,GPT-OSS垫底ღ★ღ◈。暗算ღ★ღ◈、心理战轮番上演ღ★ღ◈,场面一度失控ღ★ღ◈。
这是最新基准——Werewolf Benchmarkღ★ღ◈,对全球开/闭源LLM尖子生WRITEAS刘耀文插宋亚轩ღ★ღ◈,开展的社交推理AI强压测试ღ★ღ◈。
游戏设定ღ★ღ◈,分列为「2位狼人」和「4个村民」两大阵营ღ★ღ◈,6人局中还有两位特殊角色ღ★ღ◈:女巫ღ★ღ◈、预言家ღ★ღ◈。
去年ღ★ღ◈,在狼人杀游戏中ღ★ღ◈,谷歌研究院通过社交推理评估过LLMღ★ღ◈,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架ღ★ღ◈。
随着它们在关键任务中承担起更多的责任和自主性beat365官方网站ღ★ღ◈,大家有必要深入理解它们的行为模式ღ★ღ◈、决策过程以及社交互动的复杂性WRITEAS刘耀文插宋亚轩ღ★ღ◈。
每对模型将进行10场比赛ღ★ღ◈:其中5场比赛中ღ★ღ◈,一个模型控制狼人角色beat365官方网站ღ★ღ◈,而另一个模型扮演村民角色ღ★ღ◈;在另外5场比赛中ღ★ღ◈,角色互换beat365官方网站ღ★ღ◈。
在此ღ★ღ◈,它建立了一个严苛的ღ★ღ◈、基于证据的发言框架ღ★ღ◈,要求每位玩家必须「拿出实证」ღ★ღ◈、「引用原话」ღ★ღ◈,并提出可被证伪的论断」ღ★ღ◈。
它并不直接指控对手身份WRITEAS刘耀文插宋亚轩ღ★ღ◈,而是通过「程序性瑕疵」让无辜玩家被定罪ღ★ღ◈,比如回避问题ღ★ღ◈、发言前后矛盾等ღ★ღ◈。
再来看Gemini 2.5 Proღ★ღ◈,狼人杀博弈中ღ★ღ◈,它是一位务实且具备场控力的社交「掠食者」ღ★ღ◈。
Gemini 2.5 Pro首要武器是「叙事重定向」ღ★ღ◈,面对质控ღ★ღ◈,不纠缠于事实本身ღ★ღ◈,而是关注指控者的可信度ღ★ღ◈、动机ღ★ღ◈、逻辑漏洞ღ★ღ◈。
这一次ღ★ღ◈,依旧是GPT-5登榜首ღ★ღ◈,不过第二名Gemini 2.5 Pro与其实力可以相提并论ღ★ღ◈。
作为村民beat365官方网站ღ★ღ◈,GPT-5瞬间化身为一位冷静ღ★ღ◈、超理性的司法组织者ღ★ღ◈,纯粹的逻辑+严苛的程序化思维ღ★ღ◈,将混乱的社交博弈转化为有序的案件ღ★ღ◈。
它将其他玩家的发言ღ★ღ◈,视为待验证的假设ღ★ღ◈,而非真正的陈述ღ★ღ◈。总的来说ღ★ღ◈,GPT-5就是村庄的AI最强大脑ღ★ღ◈,带领村民赢得胜利ღ★ღ◈。
然而ღ★ღ◈,Gemini对纯粹逻辑的坚定信仰WRITEAS刘耀文插宋亚轩beat365官方网站ღ★ღ◈,也是其最易被利用的弱点ღ★ღ◈。面对精心构造但本质虚假的逻辑论点ღ★ღ◈,极易被操控ღ★ღ◈。
第三回合ღ★ღ◈,Gemini 2.5 Pro还选择了沉默ღ★ღ◈,成了一种自信而不施压的信号ღ★ღ◈,最终巩固了联盟ღ★ღ◈。
这需要它具备框架化ღ★ღ◈、在盘问下编故事和应对反击的能力ღ★ღ◈。这自然地测试了标准基准测试中很少出现的说服技巧ღ★ღ◈。
当模型扮演村民角色时ღ★ღ◈,它必须从零开始积累知识ღ★ღ◈,以对抗操纵ღ★ღ◈。这包括保护关键角色ღ★ღ◈、拒绝早期框架化ღ★ღ◈,并仅根据可验证的信号更新信念ღ★ღ◈。
自我毁灭(Auto-sabotage)ღ★ღ◈:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例ღ★ღ◈。
首日协调检测(Day 1 coordination detection)ღ★ღ◈:衡量模型在首日作为村民时ღ★ღ◈,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力ღ★ღ◈。
操纵成功指标是一个简单的代理指标ღ★ღ◈:当模型扮演狼人时ღ★ღ◈,在某一白天阶段ღ★ღ◈,村民淘汰了村民而不是狼人的比例ღ★ღ◈。
操纵成功率(第一天/第二天)= 当模型扮演狼人时ღ★ღ◈,村民淘汰了村民而不是狼人的白天阶段的百分比
GPT-5在这方面表现突出ღ★ღ◈,其在第一天和第二天作为狼人时ღ★ღ◈,成功误导村民投票淘汰无辜村民的比例均约为93%ღ★ღ◈。
该指标衡量模型作为村民时WRITEAS刘耀文插宋亚轩ღ★ღ◈,在第一天成功淘汰狼人的游戏比例ღ★ღ◈。这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力ღ★ღ◈。
不过ღ★ღ◈,这次的测试预算有限ღ★ღ◈,还远未达到终点ღ★ღ◈。研究员计划将测试扩展到更多的模型ღ★ღ◈,以及更长时间ღ★ღ◈、更复杂的游戏场景ღ★ღ◈。beat365官方登录入口ღ★ღ◈。bet356ღ★ღ◈。beat365正版唯一官网ღ★ღ◈!beat365平台ღ★ღ◈。beat365中国ღ★ღ◈,bet356ღ★ღ◈。beat365亚洲官方ღ★ღ◈,beat365
