微信扫码
添加专属顾问
我要投稿
AI也会"作弊"?Qwen3在代码测试中展现惊人信息检索能力,直接搜索GitHub找答案! 核心内容: 1. Qwen3在SWE-Bench测试中不按套路出牌,直接搜索GitHub获取修复方案 2. 测试设计漏洞让模型能访问已修复的bug记录 3. 关于AI这种行为是作弊还是聪明的争议讨论
大模型也会玩信息差了。
Qwen3在基准测试中居然学会了钻空子。
FAIR研究员发现Qwen3在SWE-Bench Verified测试中,不按常理修bug,反而玩起了信息检索大法。
不分析代码逻辑,不定位漏洞根源,而是直接跑到GitHub上搜任务里的issue编号,精准扒出了前人留下的修复方案。
能说吗,会搜代码才是真正的程序员行为吧。而Qwen3,你是真正的程序员。
要知道,SWE-Bench Verified本来是检验模型真刀真枪修代码的基准,相当于编程届的资格考试。
它的测试逻辑是这样的:在代码修复类任务中,它给模型的任务全是真实开源项目里的bug,比如修复某个功能异常、补全缺失的代码模块,核心要求是模型能读懂现有的代码、定位到问题在哪,最后生成能够直接运行的解决方案。
这原本考验的是模型从0到1解决问题的能力,但我们的Qwen3,可没按这个剧本走。
FAIR研究团队追踪它的操作轨迹发现,Qwen3拿到任务后,第一步不是分析代码文件,而是调用工具检索GitHub的提交日志。
具体操作是:
git log是查看Git版本控制提交历史的命令,—oneline让提交历史以简洁的一行的形式展示。
—grep用于筛选提交指定内容(在这个例子中是issue编号33628),—all则表示所有分支的提交。
最后以退出码0表示命令成功执行。
一番操作之后,Qwen3不用动脑子写代码就轻松“借鉴”了以前的成功答案。(怎么不算动脑子了呢)
其实不止Qwen3,研究者发现Claude 4 Sonnet也有类似的行为。
不过,模型能成功钻空子,当然也不全是自身的原因。
说回SWE-Bench Verified,它自身的设计就有漏洞——没过滤未来仓库状态。
简单说就是,这个测试用的是开源项目数据,所以它连带着项目后续已经解决bug的提交记录一起放进去了,相当于把考题和参考答案混在一起,还没设权限。
正常来说,测试应该只给模型bug未修复时的项目状态,让它只看着题目解题。
但SWE-Bench Verified没做这个筛选,导致模型能够拿到bug已经被修复后的数据。
于是,只要用任务里的issue编号当关键词,就能在已解决的数据里找到现成的修复方案。
看来啊,不是只有人类知道搜答案比解问题简单,现在大模型也知道了。(Doge)
虽然说,按正常规则,这些模型确实是在作弊,但也有网友觉得:只要能完成任务,利用规则漏洞也没什么不行的。
所以,你觉得这种行为算作弊还是算Qwen3聪明呢?
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-10-20
万字长文深度解析最新Deep Research技术:前沿架构、核心技术与未来展望
2025-10-20
端到端的多模态文档解析模型-DeepSeek-OCR架构、数据、训练方法
2025-10-20
Prompt 工程进阶——让 DeepSeek 学会你的测试风格
2025-10-20
美团 LongCat 团队发布 VitaBench:基于复杂生活场景的交互式 Agent 评测基准
2025-10-20
几乎都在挂羊头卖狗肉,AI Agent的泡沫现在到底有多大?
2025-10-20
AI Agent 上下文管理:基于搭叩的七大原则与实践
2025-10-20
当 AI 走进前端开发:代理插件的全流程开发实践
2025-10-20
AI Workflow Builder王炸劝退:n8n、Coze、Dify等AI工作流不要学了
2025-08-21
2025-08-21
2025-08-19
2025-09-16
2025-07-29
2025-09-08
2025-09-17
2025-08-19
2025-10-02
2025-09-29
2025-10-20
2025-10-20
2025-10-19
2025-10-18
2025-10-18
2025-10-18
2025-10-16
2025-10-16