随着人工智能(AI)技术的持续进阶AI 领域正从大模型时代稳步迈向智能体时代。然而智能体的越权、过度代理等问题也随之带来了一系列安全挑战。在 7 月 29 日闭幕的世界人工智能大会 WAIC 期间上海人工智能实验室、信通院、蚂蚁、IIFAA 联盟联合发布了《终端智能体安全 2025》白皮书。该白皮书首次系统梳理了智能体(AI Agent)风险分类明确了如何发现风险以及如何防御风险全面覆盖单智能体设备、多智能体协同以及 AI 终端生态的各类挑战为终端智能体安全提供了详尽的风险评估指南。
在 AI 大模型加速下沉的 2025 年智能体正迅速渗透进手机、眼镜、耳机、车机等各类终端设备悄然成为连接人、设备与环境的关键纽带。生活、工业、医疗、教育等众多行业正被一批更 “主动”、更具 “拟人化” 特征的终端智能体重新定义交互模式。它们既区别于传统意义上的智能终端也并非完全在云端运行的智能体而是一种运行在 “端侧” 的智能体。
白皮书明确指出随着模型对用户的理解愈发深入、操作愈发自动化终端智能体的风险边界也在不断拓展:已不再仅仅局限于 “数据泄露” 问题而是朝着模型行为、身份伪造、环境感知误导甚至算法伦理等更深层次的问题蔓延。
中国信通院华东分院人工智能事业部主任常永波介绍在 AI 智能体有望成为 “下一代操作系统” 的当下对安全设施进行梳理尤为必要。为有效应对这些高度复杂、层层递进的安全风险白皮书提出了三大防护路径:单智能体安全、多智能体可信互连、AI 终端安全期望能成为一份全面且具针对性、可供参考的智能体安全指引。
白皮书首次提出终端智能体安全体系。在技术生态体系的有力支撑下单智能体安全技术涵盖安全护栏、数据去毒、基座对齐和柔性管理;多智能体可信互连技术包括可信数据流转、可信服务流转、可信身份认证和可信记忆共享;AI 终端安全技术则包含可信隐私沙箱、跨设备可信连接等共同为 AI/AR 眼镜、智能手机助手、智能座驾等行业应用提供支撑。
数据显示超过 70% 的智能体从业者对 AI 幻觉与错误决策、数据泄露等问题深感担忧。因为 AI 生成的内容往往存在事实错误或者对指令产生误解。其中超半数受访者表示所在企业尚未设立明确的智能体安全负责人。与白皮书发布同步白皮书编制方之一蚂蚁集团的大模型安全解决方案 “蚁天鉴” 宣布升级新增智能体安全评测工具具备智能体对齐、mcp 安全扫描、智能体安全扫描及零信任防御等核心功能。据悉“蚁天鉴” 的智能体风险研判准确率达到 96% 以上并可支持 11 个行业的智能体测试。