人工智能在企业中的安全应用

关键要点

• 人工智能（AI）的广泛应用为企业带来了诸多机遇。
• AI使得员工能够自助获取数据信息，降低对专业知识的需求。
• 数据发现和融合面临着分散性与上下文依赖性的双重挑战。
• 数据安全须在AI的实施中被重点关注，以防新风险的产生。

随着人工智能（AI）的广泛应用，企业迎来了诸多承诺和机遇。根据最新数据，自2017年以来，AI的采用量已经超过翻倍，而且这一数字还将持续增长。这对数据团队而言，AI提供了更大的自助服务能力，员工们能够在无需专门知识或领域专业性的情况下，主动参与更多的项目，例如不需要精通SQL或Python等复杂语言。同时，AI有潜力在数据安全方面产生重要影响，尤其是在简化数据发现和数据融合方面。

今天的组织面临着两个主要的数据发现挑战。一方面，数据已经变得十分分散，常常出现在比传统数据库更多的地方；另一方面，数据分类高度依赖于上下文。因此，团队必须在广大的信息环境中，不仅识别哪些数据存在，还需了解这些数据之间的关系。AI可以以可重复的方式执行复杂规则，从而使数据发现的过程能够随着数据源的不断扩展而持续扩张。

识别模式以优先处理威胁

数据融合，即在多个不同系统和分类之间关联信息，已成为数据安全专业人员面临的一大挑战。发现威胁往往需要整合来自不同系统的信息，这些系统包括身份管理、云存储、事件监控、VPN和访问控制等。团队必须将所有这些信息整合到一起，进行同步和分析，并理解各自的架构和方言，同时还要考虑数据的质量和频率。那么，AI在这方面能发挥什么作用呢？它能够支持精简的搜索、融合和分析，从而整体增强数据安全流程。

虽然AI提供了许多好处，但据统计，
的IT领导者认为生成性AI也将带来新的数据安全风险。为了充分实现AI的好处，考量数据安全作为任何AI或（LLM）实施的基础组件至关重要。在这方面，我称之为数据安全的四个“什么”和“如何”应发挥作用：

要素 | 描述
—|—
“什么” | 用于训练AI模型的数据是什么？团队需要确认会用来开发AI模型的敏感数据。须确保数据的清理和消毒，以避免泄露分类信息或传播错误信息。
“如何” | AI模型是如何进行训练的？通常“如何”的背景被忽视。数据表面上可能看起来无害，但当它与其他信息结合时，敏感性可能会暴露。因此，团队需要明确数据在模型中的组合方式，并在模型训练过程中降低引入敏感性的影响。
“什么” | 部署的AI上有哪些控制措施？即使对数据和模型的训练进行了控制，我们仍需保护数据模型本身。 建议对模型使用设置限制。某些活动（如执法和社会信用评分）存在不可接受的AI风险。
“如何” | 我们如何评估输出的真实性？这一要素至关重要，如果不在开始时处理好，可能会对社会产生负面影响，引发错误信息的传播。AI能生成非常可信的结果，比如在请求LLM总结某些晦涩的科学时，它会生成看似合理的摘要，但这些引用的来源往往是虚构的。因此，有效的访问控制有助于设定模型的预期范围并限制超出该范围的活动。

通过优先考虑数据安全和访问控制，组织能够安全地利用AI及LLM的优势，同时抵御潜在风险，确保负责任的使用。这四个考虑因素是相互依赖的，每个因素