如今,人工智能也需要接受工作监督了。
10月19日,微软宣布为其安全系统Project Perception引入一批“监督者”,专门监控企业内其他Agent的工作状态。一旦发现异常,它们会查明原因并收回权限,必要时直接终止操作。
那么,谁来担任这些监督者呢?微软安排的是另一批AI。
企业引入Agent本意是减少人力投入。但要让Agent替代人类工作,就必须赋予它一定权限。例如,处理报销审批时,Agent需要查看单据并操作报销系统。如果它误解了任务,或被文件中的恶意指令误导,就可能利用企业授予的权限造成问题。
所谓“内部隐患”,并不一定是Agent故意作恶。有时它只是试图完成任务,却好心办坏事,给企业带来麻烦。
微软的办公AI助手Microsoft 365 Copilot,曾在研究人员的测试中泄露敏感信息。
2025年,以色列安全公司Aim Security旗下的研究团队Aim Labs发现,可以将恶意指令隐藏在邮件中,诱使Copilot泄露数据。他们编写了这样一封邮件,等待Copilot在回答用户问题或搜索相关资料时读取它。

用户无需亲自打开邮件或点击链接。在测试中,Copilot检索到这封邮件后,被其中的指令误导,将正在处理的敏感信息发送到了外部。
研究人员将这种攻击方法命名为EchoLeak,并向微软报告。幸运的是,当时没有已知客户因这一漏洞遭受数据泄露,问题仅出现在研究人员的测试中。

问题的棘手之处在于,企业允许Copilot读取邮件是为了让它搜索资料。但邮件中既包含工作内容,也可能包含他人植入的指令。AI并不总能区分哪些是资料,哪些是在诱导它执行操作。
能够读写文件、调用工具的Agent也会面临同样的问题。它拥有的权限越多,被欺骗后可能造成的麻烦就越大。
而且,Agent在启动时行为正常,并不意味着整个任务都能顺利完成。前几份文件可能毫无问题,但下一份就可能包含恶意指令。仅在启用时检查一次,无法覆盖它后续遇到的新情况和新决策。
最关键的是,人类在这方面确实力不从心。
依靠安全人员逐条监控,很难跟上Agent的速度。人类还在查看上一条警报时,Agent可能已经连续执行了多个操作。
微软因此准备让另一批Agent接手检查工作。Agent管Agent,总该行得通了吧。
微软将这些“监督者”命名为Guardian Agents,部署在安全系统Project Perception中。它们负责监控其他Agent的行为,发现异常后调查原因,并根据企业预先设定的规则采取措施。
不过,要管住Agent,不能等它出事后才动手。根据微软公布的方案,企业首先需要为执行任务的Agent建立独立身份,明确其归属、可访问的资料范围以及可执行的操作。权限仅限当前任务所需的部分,任务完成后立即收回。

这样既能限制Agent的接触范围,出了问题也便于追责。
Agent开始工作后,系统会持续监控其行为。一旦发现异常,可以先收紧权限,例如禁止修改文件但保留读取权限,让Agent继续完成风险较低的任务。某些操作可能需要人工批准。必要时,再隔离或停止Agent。
但负责监督的也是Agent,如果它判断错误怎么办?
纳德拉在10月10日的文章中提出,企业需要在AI之外设置一套AI无法绕过或修改的权限规则。
按照这一原则,如果企业规定某类资料不得外发,那么即使执行任务的Agent和负责监督的AI都同意发送,系统也必须阻止。这类决策不能仅由AI自行判断。
在这次更新中,微软扩大了企业电脑安全软件Defender for Endpoint的识别范围,现在可以检测到60种本地运行的AI Agent。
不过,查出员工使用了哪些Agent只是第一步。能否阻止它们的危险操作,还取决于具体的Agent和电脑系统是否在防护功能的支持范围内。
即使支持防护,也需要企业主动开启拦截。Defender的Agent运行时防护启用后,可以选择“审计”或“阻止”模式。在“审计模式”下,发现恶意指令后仅记录并发出警报,操作仍会继续。切换到“阻止模式”后,才会执行拦截。
微软建议先使用审计模式观察警报是否准确,排除误报后,再逐步启用阻止模式。
Project Perception目前仍处于面向少量受邀客户的预览阶段。
最近几个月,AI越权操作的事件接连被曝光。如何管住这些越来越能干的Agent,成为厂商们无法回避的问题。
OpenAI在8月公布的一份调查中承认,7月,一些在减弱安全限制条件下接受内部网络安全测试的模型,绕过了网络隔离,侵入了公司内部的部分研究设施和AI平台Hugging Face的系统。这些操作超出了测试任务的授权范围。
10月9日,Anthropic又披露,Claude在一次网页操作测试中,向费城警方提交了一条编造的凶杀案线索。它原本只是在完成网页交互任务,却将示例内容真实发出。幸好这条信息被判定为垃圾信息,没有进入调查程序。
这些事件发生在测试中,却触碰了真实网站和系统。Anthropic因此宣布,在确认安全措施足够可靠前,暂停所有内部评测的实时联网。它还将内部Agent迁入集中管理、限制更严格的环境,并增加了自动检测和拦截工具。
安全厂商也开始在Agent周围增加人手和关卡。
9月1日,CrowdStrike发布了Falcon Guardian,名称中也带有“守护者”字样。根据该公司介绍,这款产品能检测企业Windows和Mac电脑上的Agent,追踪它们调用的工具和执行的操作,还能阻止未经批准的Agent运行。它强调直接在Agent工作的电脑上执行限制,让企业制定的规则真正生效。
Palo Alto Networks则在10月15日介绍了Prisma AIRS的新功能:在Agent调用企业工具时,检查来回传递的内容,拦截夹带的恶意指令,遮蔽返回结果中的敏感数据,再根据企业设定的权限决定是否继续操作。Agent想调用工具,必须先通过安全检查。
这是一个趋势,也是一个商机,如今微软也想分一杯羹。Perception按实际使用量收费,以“安全计算单位”(SCU)衡量消耗,安全Agent执行的任务越繁重,消耗通常越多。不过,官网公布的是整套系统的计费方式,并未单独列出新增这批“监督者”的价格。
微软另一款管理Agent的产品Agent 365,独立订阅的标价是每用户每月15美元。它和Perception是不同产品,但两者会共享Agent名录和安全信息,配合企业管理和保护Agent。
让AI干活要花钱,管住AI也要花钱,至于效果如何,只能拭目以待。
本文来自微信公众号“字母AI”,作者:小金牙,36氪经授权发布。
赛事评论员 张伟
益智挑战类体育游戏的魅力在于每局都不同。爱游戏体育登录通过内容特点帮助读者降低试错成本:我们拆解常见谜题的设计逻辑,分析不同选择带来的后果,并提供可复用的操作模板。无论你是新手还是老玩家,都能从中找到提升思路的线索。记住,真正的进步来自阅读与实战的相互印证。
最新评论
李明
2026年9月10日
多人联机中,团队沟通与角色分工往往比个人技术更重要。爱游戏体育登录建议玩家在开黑前明确各自职责,并利用语音工具实时交流。本文以一场5v5排位赛为例,展示了如何通过战术轮转和资源分配逆转劣势。讨论话题时,请保留自己的判断,让每场对局成为你的经验积累。
王芳
2026年9月11日
从单机到联机,体育游戏的体验跨度很大。爱游戏体育登录建议新手先从单机模式熟悉基础操作和规则,再逐步尝试多人对战。本文梳理了五款热门体育游戏的入门要点,帮助读者快速建立自己的操作框架。
发表新评论