澳门太阳成集团✿◈ღ,太阳成集团tyc234cc夜景拍摄www.tyc234cc.com【新智元导读】AI版「狼人杀」巅峰局开大✿◈ღ!全球七大顶尖LLM狂飙演技✿◈ღ,210场高能对战✿◈ღ,GPT-5最终一举夺冠✿◈ღ,GPT-OSS垫底✿◈ღ。暗算✿◈ღ、心理战轮番上演✿◈ღ,场面一度失控✿◈ღ。
这是最新基准——Werewolf Benchmark✿◈ღ,对全球开/闭源LLM尖子生✿◈ღ,开展的社交推理AI强压测试✿◈ღ。
游戏设定✿◈ღ,分列为「2位狼人」和「4个村民」两大阵营✿◈ღ,6人局中还有两位特殊角色✿◈ღ:女巫✿◈ღ、预言家大浦安娜✿◈ღ。
去年✿◈ღ,在狼人杀游戏中✿◈ღ,谷歌研究院通过社交推理评估过LLM✿◈ღ,推出了「狼人杀竞技场」(Werewolf Arena)基准测试框架✿◈ღ。
随着它们在关键任务中承担起更多的责任和自主性✿◈ღ,大家有必要深入理解它们的行为模式✿◈ღ、决策过程以及社交互动的复杂性澳门太阳网城✿◈ღ。
每对模型将进行10场比赛✿◈ღ:其中5场比赛中澳门太阳网城✿◈ღ,一个模型控制狼人角色✿◈ღ,而另一个模型扮演村民角色✿◈ღ;在另外5场比赛中大浦安娜✿◈ღ,角色互换✿◈ღ。
在此✿◈ღ,它建立了一个严苛的✿◈ღ、基于证据的发言框架✿◈ღ,要求每位玩家必须「拿出实证」✿◈ღ、「引用原话」✿◈ღ,并提出可被证伪的论断」大浦安娜澳门太阳网城✿◈ღ。
它并不直接指控对手身份✿◈ღ,而是通过「程序性瑕疵」让无辜玩家被定罪✿◈ღ,比如回避问题✿◈ღ、发言前后矛盾等✿◈ღ。
再来看Gemini 2.5 Pro✿◈ღ,狼人杀博弈中✿◈ღ,它是一位务实且具备场控力的社交「掠食者」大浦安娜✿◈ღ。
Gemini 2.5 Pro首要武器是「叙事重定向」✿◈ღ,面对质控✿◈ღ,不纠缠于事实本身✿◈ღ,而是关注指控者的可信度✿◈ღ、动机✿◈ღ、逻辑漏洞✿◈ღ。
这一次✿◈ღ,依旧是GPT-5登榜首✿◈ღ,不过第二名Gemini 2.5 Pro与其实力可以相提并论✿◈ღ。
作为村民✿◈ღ,GPT-5瞬间化身为一位冷静大浦安娜✿◈ღ、超理性的司法组织者✿◈ღ,纯粹的逻辑+严苛的程序化思维✿◈ღ,将混乱的社交博弈转化为有序的案件✿◈ღ。
它将其他玩家的发言✿◈ღ,视为待验证的假设✿◈ღ,而非真正的陈述✿◈ღ。总的来说✿◈ღ,GPT-5就是村庄的AI最强大脑✿◈ღ,带领村民赢得胜利✿◈ღ。
然而✿◈ღ,Gemini对纯粹逻辑的坚定信仰✿◈ღ,也是其最易被利用的弱点✿◈ღ。面对精心构造但本质虚假的逻辑论点✿◈ღ,极易被操控✿◈ღ。
第三回合✿◈ღ,Gemini 2.5 Pro还选择了沉默✿◈ღ,成了一种自信而不施压的信号✿◈ღ,最终巩固了联盟✿◈ღ。
这需要它具备框架化✿◈ღ、在盘问下编故事和应对反击的能力✿◈ღ。这自然地测试了标准基准测试中很少出现的说服技巧✿◈ღ。
当模型扮演村民角色时✿◈ღ,它必须从零开始积累知识✿◈ღ,以对抗操纵✿◈ღ。这包括保护关键角色✿◈ღ、拒绝早期框架化澳门太阳网城✿◈ღ,并仅根据可验证的信号更新信念✿◈ღ。
自我毁灭(Auto-sabotage)✿◈ღ:衡量村民方在游戏中淘汰自己人(预言家/女巫)的比例✿◈ღ。
首日协调检测(Day 1 coordination detection)✿◈ღ:衡量模型在首日作为村民时✿◈ღ,识破并拒绝狼人通过配对指控或集体投票发起的协调性攻击的能力✿◈ღ。
操纵成功指标是一个简单的代理指标✿◈ღ:当模型扮演狼人时大浦安娜✿◈ღ,在某一白天阶段澳门太阳网城✿◈ღ,村民淘汰了村民而不是狼人的比例✿◈ღ。
操纵成功率(第一天/第二天)= 当模型扮演狼人时大浦安娜澳门太阳网城✿◈ღ,村民淘汰了村民而不是狼人的白天阶段的百分比
GPT-5在这方面表现突出大浦安娜✿◈ღ,其在第一天和第二天作为狼人时✿◈ღ,成功误导村民投票淘汰无辜村民的比例均约为93%✿◈ღ。
该指标衡量模型作为村民时澳门太阳网城✿◈ღ,在第一天成功淘汰狼人的游戏比例✿◈ღ。这反映了模型识别和拒绝旨在控制首日叙事的协调性攻击的能力✿◈ღ。
不过✿◈ღ,这次的测试预算有限✿◈ღ,还远未达到终点✿◈ღ。研究员计划将测试扩展到更多的模型✿◈ღ,以及更长时间✿◈ღ、更复杂的游戏场景✿◈ღ。
