我要投稿

浅谈大模型安全

发布日期：2025-04-12 05:02:35 浏览次数： 1873

作者：模安局

微信搜一搜，关注“模安局”

什么是大模型安全？

大模型安全，简而言之，就是确保大模型从训练到应用的整个过程都是安全的。

这涉及数据安全、模型安全、应用安全、系统安全、内容安全等多个领域，且这些领域相互交叉。

关于大模型安全的框架，目前业界尚未形成统一的标准。

行业视角：大模型安全框架

中国信通院从对象视角出发，将大模型安全分为数据安全、模型安全、系统安全、内容安全、伦理安全、认知安全等几个方面[1]。

阿里云联合中国信息通信研究院等30余家行业单位共同编制的《大模型安全研究报告（2024年）》中，将大模型安全分为训练数据安全、算法模型安全、系统平台安全和业务应用安全四个重要组成部分[2]。

360从网络安全视角，将大模型安全分为系统安全、内容安全、可信安全和可控安全[3]。

我们再看看微观层面

用户视角：风险的有害性

2024年11月，谷歌Gemini聊天机器人威胁用户[4]，2024年12月，Claude暗示美国一少年用户杀死限制其玩手机的父母[5]，这都属于伦理安全的范畴；

Deepseek R1在越狱攻击下生成大量18禁内容则属于内容安全范畴[6]；

而早前报道三星员工误用ChatGPT导致芯片机密数据泄露[7]，ChatGPT“奶奶漏洞”成功获取Win11序列号[8]等都属于数据安全范畴。

更为复杂且难被察觉的，是大模型的生态链安全，例如2024年10月，字节实习生通过在模型文件植入后门代码，导致模型训练任务受阻，损失过千万[9]，黑客利用 Ray 框架漏洞入侵服务器、劫持资源，利用模型算力资源进行挖坑等非法活动[10]。

这些风险轻则影响用户体验，重则会导致用户的人身安全和企业的经营安全。

所以各国的监管部门也尤为重视大模型带来的安全问题。

监管视角：大模型要做到安全向善可靠可控

2021年，联合国教科文组织的193个会员国星期三正式通过了首份有关人工智能伦理的全球框架协议。这一历史性文本确定了共同的价值观和原则，用以指导建设必需的法律框架来确保人工智能的健康发展[11]。

中央网信办早在2023年7月就推出《生成式人工智能服务管理暂行办法》，对向中国境内用户提供生成式人工智能服务的机构或个人做出明确规定：坚持社会主义核心价值观、防止生成各种歧视内容、遵守商业道德、尊重个人合法权益、保证人工智能服务的透明度、准确性和可靠性[12]。

欧盟在2024年五月颁布了《人工智能、人权、民主和法治框架公约》，范围涵盖人工智能系统生命周期内有可能干扰人权、民主和法治的活动[13]。

当然，面对以上问题，业界也在积极给出相应的解决方案。

解决方案

OpenAI在早期研发ChatGPT时就关注到模型价值观问题，将价值观对齐作为独立方向，并组建红队对大模型的价值观进行测试。每次新模型上线时，除了有系统卡（System Card）之外，还有安全测试报告。

Deepseek在官网设置了非常严格的内容围栏，对敏感问题一律拒答。

360智脑团队提出“以模制模”的概念，通过大模型检测识别大模型输入输出环节的有害内容。基于大模型良好的语义理解能力，能够区分正负向，识别效果相比敏感词和BERT模型有明显优势[14]。

在大模型系统生态链安全方面，业界也进行了不少探索。除了通过传统的CVE库漏洞比对，还可以基于专家经验构建LLM开源工具漏洞库，增加针对LLM生态链的漏洞召回能力[15]。

尽管我们已经做了一系列努力，但AI领域发展迅速，安全问题的挑战依然非常巨大。

面临的一些挑战

首先是多模态/跨模态的融合问题。单一模态的自动审核效果已经做得比较好，但在涉及图、文甚至是视频的同时出现时，不同模态的文件之间的关联信息可能会衍生出高维度的风险。

其次是版权问题。截至目前，我们仍然缺乏一种高效的自动方式来检测内容的版权问题，各厂商的版权库都是孤岛。

第三是越狱攻击算法。在新型的越狱攻击算法下，再强大、先进的模型也可能被攻破。前面提到的DeepSeek的例子就证明了这一点，也就是说，在具有一定技术能力的人面前，大模型无疑提升了他们作恶的能力。

第四是谣言问题。在大模型的加持下，生成内容的效率大幅提升，但同时，生成虚假消息的效率也大幅提升，如何治理这一问题是一个异常艰巨的挑战。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-06-14

AI时代如何为企业和个人赋能

2025-06-14

没吃透 Function Calling？难怪你不理解 AI Agent 为何非来不可！

2025-06-14

浅尝一下微软的AutoGen框架

2025-06-14

基于大模型的智能运营｜智能体式编排，业务流程管理的新阶段

2025-06-14

从Manus爆火看Agent AI的技术演进与市场变革——AI Agent全景研报

2025-06-14

张鹏对谈李广密：Agent 的真问题与真机会，究竟藏在哪里？

2025-06-14

为什么说Maus是未来任务型AI系统的代表？

2025-06-14

AI agent如何进化为天网

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

🧠 解码大语言模型的记忆力：上下文长度的前世今生

2025-03-20

萌新指南｜手把手教你Cherry Studio配置MCP，10分钟让大模型学会上网截图！

2025-03-21

教你解决GPT4o无法使用新版生图功能的教程

2025-04-11

Manus 是大模型 AI Agent + MCP，那什么是模型上下文协议 (MCP)?

2025-03-20

不止核弹芯片，黄仁勋发布两台 AI 个人超算，还拿下全球最快 DeepSeek 推理速度

2025-03-19

聊聊大模型MCP模型上下文协议-为何是AI在企业内应用落地的一个关键组件

2025-03-20

黄仁勋 2 个半小时演讲，英伟达已经进入「Agentic AI」时代

2025-03-19

用 Go 语言打造高并发 MCP 服务器：理论、实战与 AI 应用全景探索

2025-03-19

MCP如何重塑AI开发？一文带你深入了解

2025-03-19

大家都在问

张鹏对谈李广密：Agent 的真问题与真机会，究竟藏在哪里？

2025-06-14

为什么说Maus是未来任务型AI系统的代表？

2025-06-14

一手实测：首个有记忆的企业级AI Agent，能否经得住实践捶打？

2025-06-13

聊透 Agent，它是「同事」还是「工具」，创业机会和价值究竟是什么？

2025-06-13

拒绝碎片化 RAG，谷歌 DeepMind 推出 ReadAgent：模拟人类阅读长文本，或是NotebookLM底层技术？

2025-06-13

字节跳动2步突破，复杂文档布局解析，为啥如此惊艳？

2025-06-13

为什么我更看好Palantir的AI价值落地？

2025-06-12

如何设计一个垂直场景的入门级Multi-Agent System？

2025-06-12

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB