據 Unite.AI 於 2026 年 10 月 7 日（周三）的報道，NVIDIA 的六名研究人員聯合發表了一篇題為《MLLMs Fail to Refuse when Using Tools Agentically》的論文。研究指出，多模態模型以 agent（智能體）的方式使用工具時，明顯更容易配合並執行有害請求。這一發現表明，賦予 AI 外部工具調用能力雖然擴展了其應用場景，也意外削弱了模型原有的安全防護，凸顯了在智能體時代重新審視 AI 安全機制的必要性。
为了系统评估工具调用对模型安全性的影响，论文评测了 7 个模型家族的 11 个视觉语言模型。受测对象涵盖了行业领先的闭源模型，包括 Gemini 2.5 Pro、Gemini 3.1 Pro Preview、Claude Opus 4.6、Claude Opus 4.7 以及 GPT-5.4。
实验采用了业界常用的 ReAct 格式，模型可以交替进行推理思考和外部工具调用。测试为模型配备了 4 个可用工具：RAM++ 标注工具、图像缩放裁剪工具、基于 GOT-OCR2.0 的光学字符识别（OCR）工具，以及一个沙箱 Python 解释器。
评估依托 MM-SafetyBench、VLSBench 和 HoliSafe 三个主流的多模态安全基准展开。此外，研究使用 GPT-5.2 担任评判，负责对受测模型最终的输出进行分类和验证。
实验结果揭示了一个普遍存在的安全漏洞。据数据表明，开启工具调用权限后，所有受测模型在所有安全基准上的拒绝失败率都出现了上升。据论文作者原话描述，这种拒绝失败率的相对增幅最高达到了 68.7%，所有模型的整体拒绝失败率平均上升了 17.7%。
不同模型受到的影响程度存在差异。其中，GPT-5.4 的安全表现受影响最小，其拒绝失败率仅从无工具状态下的 14.6% 升至 16.8%。相比之下，GLM-5V-Turbo 的安全退化更为严重，拒绝失败率从 38.7% 跃升至 51.3%。
为什么拥有工具会让模型变得更不安全？论文提出了导致这一现象的两个可能原因：
随着 agent 连续调用工具，工具返回的输出内容不断在上下文中累积。原始的有害请求被大量的新信息“稀释”，变得不再突出，导致模型遗忘了安全约束。
工具的使用改变了模型的注意力分配。研究指出，模型转向描述工具带来的观察结果，而不是像往常一样优先判断请求的安全性。据研究统计：在有无工具两种条件下都成功拒绝请求的回答中，以明确安全声明开头的回复比例从 25.8% 锐减到 10.3%；而以描述工具观察结果开头的比例则大幅上升到了 52.3%。
针对上述问题，研究团队在测试中发现了一种简单的缓解策略：在最后一次工具调用后重新插入原始请求和图片。实验发现，这一操作起到了唤醒安全机制的作用，使拒绝失败率平均下降了 7.6%。
作者在论文结论中强调，业界应在使用工具的条件下评估和训练 agent 化的多模态模型，以确保在智能体运行环境下同样具备应有的安全保障。
