推荐语
人工智能领域迎来重大突破，GPT-4.5模型以73%的比例被误认为人类，远超其他模型。
核心内容：
1. GPT-4.5和LLaMa-3.1首次通过图灵测试，被误认为人类的比例分别达73%和56%
2. 实验设计：裁判与人类和AI进行8轮5分钟对话，判断哪个是人类
3. 裁判最常用策略：闲聊询问日常活动，判断语言风格和互动动态
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
重要里程碑事件！近日来自加州大学圣迭戈分校的研究学者首次提供了人工系统（LLaMa-3.1-405B 和 GPT-4.5）通过标准三方图灵测试的实证证据。- GPT-4.5 被判断为人类的比例高达 73%，显著高于真实人类参与者被选中的比例。
- LLaMa-3.1 在相同提示下被判断为人类的比例为 56%，与人类参与者没有显著差异。
图灵测试由艾伦·图灵在 1950 年提出，用于判断机器是否能够表现出与人类相似的智能。测试中，人类裁判通过文本界面同时与两个人类和机器进行对话，如果裁判不能可靠地识别出人类，机器就被认为通过了测试。图灵测试在过去 75 年中一直是人工智能领域的重要议题，是衡量人工智能的重要标准之一。
图灵测试游戏界面，显示一名审讯者（绿色）与两名证人（灰色）正在进行的对话。顶部的计时器显示游戏中剩余的时间。
研究方法
选择了四种 AI 系统：GPT-4.5、LLaMa-3.1-405B、GPT-4o 和 ELIZA。其中，GPT-4.5 和 LLaMa-3.1 是基于大型语言模型的系统，而 GPT-4o 和 ELIZA 则作为基线模型。
测试了两种提示类型：NO-PERSONA 和 PERSONA，后者包含更详细的指令，要求模型以特定的人格回应。
研究在两个独立人群中进行，分别是 UCSD 心理学本科生和 Prolific 平台的参与者。
实验结果
裁判准确率：裁判在 ELIZA 游戏中的准确率显著高于随机水平，表明裁判能够区分人类和 ELIZA。然而，在 GPT-4.5-PERSONA 和 LLAMA-PERSONA 的游戏中，裁判的准确率并不显著高于随机水平，表明他们无法可靠地区分人类和这些模型。
策略与理由：裁判最常用的策略是与证人进行闲聊，询问他们的日常活动或个人细节。裁判最常提到的理由是证人的语言风格和互动动态，例如是否使用更“人性化”的语言或对话是否顺畅。
左侧：每位 AI 证人的胜率，即审讯者判定 AI 系统为人类而非实际人类证人的比例。误差条表示 95% 的自助法置信区间。每个条形图旁边的星号表示胜率是否显著不同于随机水平（50%）。右侧：审讯者在选择实际人类或 AI 模型时对每位证人类型的裁决信心。每个点代表一个单独的游戏。向左或向右的点表示对 AI 是 AI 而非人类的信心更高。误差条表示围绕平均值的 95% 自助法置信区间。审讯者所采用策略的分类，左侧显示各类策略在游戏中的占比，右侧显示使用这些策略的游戏的平均准确率，并附有95%置信区间。参与者经常进行闲聊，询问证人的个人细节、活动或意见。那些说出不寻常话语或使用典型的大型语言模型（LLM）“越狱”技巧的审讯者最为准确。在 Prolific 研究中，用于指导基于 LLM 的 AI 代理如何回应审讯者信息的完整PERSONA提示。
粤ICP备14082021号
免费POC，
零成本试错
