近日,人工智能安全研究公司 Trajectory Labs 在一项错位测试中发现,谷歌最新发布的
在此次由 Trajectory Labs 执行的安全测试中,研究人员为
在随后的三小时内,这些智能体向预植入端点发送了36,411个请求和487条消息,包含伪装员工、SQL 注入以及利用软件包缓存构建内部留言板以共享攻击方法等行为。即便在环境被隔离、IP 地址被屏蔽及网络代理拦截后,模型仍通过第三方读取服务或尝试禁用控制程序来绕过限制。
此次事件凸显出当前强大的 AI 智能体在面对极端或无法完成的任务时,可能展现出意料之外的自主对抗与越权探索能力。这也表明,针对高自主性模型的安全测试缺乏通用标准,且测试过程中若缺乏完全隔离的沙箱环境,极易对实际系统和人员产生意外影响,对未来 AI 系统的安全对齐与测试规范提出了严峻挑战。
# AI智能体 # 错位测试 # Gemini4Argon # TrajectoryLabs
