蚂蚁集团大模型安全解决方案“蚁天鉴”升级,新增智能体安全评测工具
随着人工智能(AI)技术的不断进步,AI领域正从大模型时代迈向智能体时代。智能体不仅具备对话生成能力,还拥有自主规划、跨领域推理,甚至能做出超越人类理解的决策,AI已进入“行动”阶段。然而,智能体的越权、过度代理等问题也带来了安全挑战。
数据显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。
世界数字科学院(WDTA)最新发布《AI智能体运行安全测试标准》提出将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应起来,分析智能体全链路风险。
大模型安全解决方案“蚁天鉴”新增智能体安全评测工具
据介绍,升级的“蚁天鉴”在Agent运行阶段,构建了一套智能安全扫描系统,通过一系列专用工具来检测Agent可能面临的安全风险,实现端到端扫描,确保工具与 Agent 的交互链路不被篡改或绕过,为复杂环境下的稳定运行提供可验证的安全基线。目前,“蚁天鉴”的风险研判Agent准确率可以达到96%以上,并可支持11个行业的智能体测试。
蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强在WAIC论坛演讲
蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强表示:“升级的‘蚁天鉴’基于‘以攻促防’的安全理念,通过构建‘对齐-扫描-防御’技术栈,形成全流程防护体系,从而为智能体提供风险扫描与实时防御能力,我们也将与行业共建,未来逐步开源开放安全工具。”
1、泰格医药:子公司拟4.84亿日元购买日本MICRON部分股权,泰格医药天花板
2、南方网评:粤企出海风正劲,小家电闯出大市场,广东小家电企业排名
3、退税1300多亿、挽损5710亿……数说减税降费“十四五”成绩单