Google 发布智能体隐私与安全研讨会报告：从上下文完整性视角看开放与新兴问题

我们正在快速迈向一个由高度通用、日益自主的智能体所定义的计算格局。这些系统由能够动态生成计划并调用外部工具的大语言模型（LLM）驱动，有望让 AI 无缝地替我们处理复杂的多步骤任务。然而，要实现这一潜力，需要解决一个关键挑战：在赋予智能体能力的同时，确保它们行事得当。

今天，我们分享一份全面的新研讨会报告《智能体隐私与安全中的开放性与涌现性问题：情境视角》，这是汇聚了来自众多机构 50 多位学术界与产业界领袖的协作成果。我们于 2025 年底在纽约市举行的 Google 情境智能体隐私与安全（CAPS）研讨会上相聚。在这份报告中，你将看到对自主智能体当今面临的基础性隐私与安全挑战的剖析，这些挑战需要在系统、模型、用户和生态层面进行协同防御。

智能体的权衡

智能体 AI 的核心挑战在于：一个智能体要有用，可能既需要访问个人数据，又需要能够在广泛的情境中采取有后果的行动。然而，这种访问权限加上智能体的行为灵活性，要求采用与传统软件截然不同的方法。与传统确定性软件不同，智能体在三个关键维度上存在差异，由此带来了研究界必须共同应对的挑战：

• 非结构化接口与输入歧义：智能体以自然语言、图像等格式处理指令，这使得定义“预期行为”或防范提示注入等对抗性操纵变得困难。
• 概率性控制流：生成式规划导致概率性执行路径，传统测试方法难以对其加以保障。
• 自主性与委派：随着智能体处理更长的任务并将子任务委派给其他智能体，传统的用户监督变得不那么有效，且很可能不够充分，存在“确认疲劳”的风险。

情境视角

鉴于有用的智能体可能需要共享数据并完成任务，我们相信，可信智能体的未来取决于它们能否针对其运作的特定情境，对社会规范及其行为的适当性进行推理、理解并受其约束。

但我们如何教会智能体理解“上下文”与恰当性？我们的报告以上下文完整性（Contextual Integrity，CI）理论为基础，该理论将隐私不仅定义为保密或控制，还定义为依据既定且正当的社会规范所进行的“适当信息流动”。一个特定于上下文的信息规范由其行为主体（谁在发送和接收关于谁的信息）、信息类型（特定类别的信息，如医疗或财务记录）以及传输原则（支配信息流动的规则，如保密性或互惠性）来定义。例如，你可能愿意与虚拟购物助手分享你的礼物购物清单，但不愿与家人和朋友分享。我们的报告将信息共享的上下文完整性扩展并推广到上下文安全，即智能体行为的恰当性。通过将智能体的隐私与安全锚定在 CI 中，我们探索如何设计系统，在行动执行之前评估其是否在社会和上下文层面恰当。

将上下文完整性付诸实践

自上下文完整性理论提出以来，LLM 首次提供了创建真正依赖上下文的机器可读策略的机会。长期以来，高层面的上下文规范与低层面的系统权限之间存在语义鸿沟。例如，“在为会议安排我的行程时保护我的数据”需要具体说明在预订航班、申请签证以及与组织者沟通时适合共享哪些用户信息。

手动权限或专家编写策略等传统方法无法扩展到 AI 智能体自主执行多个复杂、长时间运行任务的未来。随着语言模型开始理解 CI，我们认为这一鸿沟可以被弥合。我们的报告主张，在模型和用户交互进步的同时，辅以一个上下文策略引擎，作为监督层的一部分来监控和执行行为的恰当性。该策略引擎包含一个动态策略生成循环，可以实时运行（如下图所示），针对用户请求和开放式、动态的上下文（包括运行时可能发现的新工具和能力）定制策略。这使系统能够在任何信息离开用户工作区之前，评估所请求的数据流是否恰当。

面向智能体隐私与安全的多层方法

在模型层和用户层取得必要进展的同时，致力于上下文策略引擎，将形成一种多层方法。我们的报告概述了整个技术栈中的创新机会：

• 系统级沙箱：执行环境可以施加额外的防护措施，以限制智能体或模型故障的影响，并促进检测与响应。传统操作系统通过静态限制访问（例如对文件或网络的访问）来沙箱化应用程序。对于智能体，我们探索动态限制智能体能力、建立智能体身份，以及根据上下文变化授权或撤销对数据的访问。
• 模型层面的推理：执行复杂任务的智能体必须判断其行为是否恰当，例如共享用户数据。未来的研究应使模型能够消解表述不充分的用户提示，并在不断变化的语境规范下推理行为的恰当性。
• 以用户为中心的控制：传统的“通知与选择”框架假设个人能够对影响个人数据的操作做出细粒度决策，并依赖于可预见性假设。然而，自主智能体的行为本质上是概率性的、高容量的且生成式的。我们探索将界面转向动态、情境化且个性化的控制机制，以与用户的心智模型保持一致。
• 多智能体交互：为使 AI 智能体能够在复杂任务中安全地相互协作，我们需要开发有效的护栏，以防止智能体串通并违反语境规范。
• 生态系统治理：我们探索治理机制中的挑战，以形成一套在各智能体之间收集和共享的语境规范。此外，由于规范可能因领域和实体而异，我们需要能够解决冲突、协商规范变更并验证合规性的机制。

动态衡量隐私与安全

最后，我们提出开发新的安全评估方法，使其更直接地适用于高度自主的多智能体系统。我们的报告强调了标准化多智能体基准的必要性——即动态的“Agent Gym”环境，研究人员可以在其中安全地模拟长时间内的复杂、级联交互。借助这些开源沙盒，我们可以在学术界和工业界建立稳健、共享的隐私、安全与安保基线。

行动呼吁

这是一个雄心勃勃的项目，但构建一个安全、可靠且可信的智能体生态系统，对任何单一学科、组织或部门而言都过于庞大。报告呼吁新思想和前所未有的合作，提出了基础性机遇；它是对学术界、政府、公民社会和工业界更广泛研究社区的行动呼吁，以开发构建安全、可靠且尊重隐私的生态系统所必需的语境基础。我们邀请您阅读技术报告。

致谢

我们感谢 Lillian Tsai 担任共同第一作者，感谢 Sarah de Haas 协调研讨会、报告撰写和博客文章。Kassem Fawaz、Stefan Mellem、Helen Nissenbaum 和 Nina Taft 参与了概念构思、多个章节的撰写，并指导了写作过程。Sebastian Benthall、Madiha Zahrah Choksi、Seliem El-Sayed、Ferdinando Fioretto、Adrià Gascón、Ashish Hooda、Ivan Petrov、Francesco Pinto、Octavian Suciu、Trishita Tiwari、Harold Triedman、Ren Yi 和 Wen Zhang 担任章节负责人。我们感谢 50 多位研究人员、学术合作伙伴和行业领袖的贡献，他们共同撰写了报告或参与了研讨会讨论。这项工作得到了 Daniel Ramage、Corinna Cortes、Yossi Matias、Pushmeet Kohli、Hank Levy、Raluca Ada Popa、Amanda Walker、Brendan McMahan 和 James Manyika 的支持。Eugene Bagdasarian 同时也是马萨诸塞大学阿默斯特分校的助理教授。