AI时代，如何应对生成式AI带来的安全挑战？

自ChatGPT走红以来，百度、360、阿里、百川智能等企业纷纷加入“战局”，生成式AI大模型在半年内密集上线，一次又一次地将“百模大战”推向新的高潮。据不完全统计，自2022年11月至今，国内已发布79个10亿参数规模以上的大模型，这其中不乏ChatGPT、Midjourney、TrueSync等现象级应用产品，且新的大模型还在诞生，数量正在持续增长。

亚马逊云科技大中华区解决方案架构部总监代闻

【资料图】

“正是因为生成式AI应用场景的井喷，业务部门需求旺盛，给企业的技术部门带来了前所未有的挑战。”亚马逊云科技大中华区解决方案架构部总监代闻在演讲中表示。生成式AI让人们看到了未来世界AI的无限潜力，但在技术成果涌现之时，内容和数据的安全问题也第一次变得格外重要。

尤其是在今年4月份，国家网信办还发布《生成式人工智能服务管理办法(征求意见稿)》在黄暴政恐违禁、防止歧视、版权保护、虚假信息防范、个人隐私保护等方面均有明确要求。因此，关于生成式AI带来的安全问题，我们迫切需要找到平衡创新与风险之间的关键之道，以确保AI的可持续发展与安全。

生成式AI带来哪些安全挑战？

事实上，AI在赋能产业应用、降本增效的同时，也带来了一系列新的安全应用风险与挑战，诸如模型安全、数据安全、算法安全、内容安全、应用安全等。这是因为，生成式AI需要依赖大量的数据和模型，任何一个环节的安全疏漏，例如使用不安全的模型训练及微调、模型的泄露、不安全的应用、不安全的应用访问等，都可能会导致企业自身数据及隐私的泄露，或者产生不准确甚至错误的结果。

代闻认为，模型安全和数据安全是构建AI应用的关键。他表示：“生成式AI的井喷对一个企业的数据平台有了更高的要求。要训练构建一个生成式AI的模型，需要大量的非结构化数据。如果一个企业直接去应用一个做好的模型进行微调，这时候又需要有高质量的专业化的数据来微调这个模型。这两个方面的要求目前对于大多数企业的数据平台都提出了更高的要求。”

具体而言，数据安全主要涉及敏感数据和隐私信息安全。一方面，在大模型训练过程中，一些高频用户的敏感或隐私信息，作为生成内容出现在其他用户的对话框中，这些个人身份信息、金融数据、医疗记录等敏感数据会被以某种形式记录或存储下来;另一方面，ChatGPT等大模型可以收集对话框数据，通过算法推断出潜在的敏感信息，基于推断出的信息进行精准的广告投放，这个过程可能侵犯用户的隐私。

在模型安全方面，攻击者可以利用篡改训练数据、欺骗模型输入、利用对手学习攻击等方式对AI大模型进行攻击，从而使得模型的输出结果不可靠或误导性强。比如，攻击者使用DDoS攻击或入侵攻击来破坏或窃取数据。又比如，攻击者采用模型逆向攻击，可以在不接触隐私数据的情况下，利用模型输出结果等信息来反向推导出用户的隐私数据，再比如，攻击者利用特殊设定的Prompt模版或对话，诱使ChatGPT输出错误的答案或隐私相关的数据。

除了模型安全、数据安全外，应用安全也是值得关注的部分，这涉及应用开发流程中的安全，也涉及应用运行中的安全。从开发到持续集成、持续部署再到投产、监控、反馈，安全应该贯穿整个过程。针对运行中的安全，企业还应该将零信任与网络控制进行深度融合，尤其是在大模型时代，零信任与网络控制的结合才能实现端到端的应用安全。

“大语言模型最后要变成应用来提供服务，怎么样让大语言模型为企业内不同的人提供不同的API，以前是靠应用程序和网络边界来隔离的，现在网络边界已经不足够了，网络边界只是用户认证的基础条件，大语言模型的出现加速了零信任在企业中的落地。”代闻如是说。

如何应对生成式AI带来的挑战？

今年以来，生成式AI应用在成为全球热点的同时，其涉及的数据安全问题也成为各国政府和监管机构的重点。

我国陆续出台一系列政策文件，为人工智能的发展提供更多的制度保障。在今年4月，中央政治局会议重点提及人工智能，指出要重视推动人工智能的发展，营造创新生态，重视防范风险，技术的变革更是进入一个快车道，网络安全行业更要以高质量发展为主基调。

应对生成式AI带来的安全挑战，推动人工智能创新健康发展，不仅需要政府出台支持政策、加强监管、完善相关法律，企业也应该履行主体责任，通过采用先进技术解决方案，加强人工智能发展的潜在风险研判和防范，确保人工智能安全可靠可控。同时，企业、高校、科研机构等加强合作，共同开展技术研发、人才培养和产业应用等工作。

在全新的网络安全形势下，网络安全解决服务提供商又该如何提供保障？对此，代闻认为，从构建开始需要将安全作为企业AI战略发展中的核心环节。与此同时，还应该深度思考应该从哪里开始？依靠一个什么样的框架？

他表示：“这就要求我们不能只是关注AI应用本身，而是从一个全栈的角度，去全面审视应用、模型、数据、基础架构的安全规范、技术策略和平台工具。生成式AI应用就像是海面上的冰山，我们想要在企业里安全地驾驭这项新技术，还需要关注海面下的冰川。”

对于企业而言，网络安全已经渗透到供应链管理、风控反欺诈、客户优质数据资产和业务资产保护等核心业务场景中，企业在进行安全防御的时候必须变“被动”为“主动”，清晰界定自身的核心资产和价值，加强技术风险预判，关注和控制大模型在应用层面的风险，并建立起多方协同的安全治理机制。

从数据、模型安全到应用安全，建立多层保护

企业为构建生成式AI应用，首先应在数据流动的过程中确保端到端的数据安全，为生成式AI应用提供安全和有价值的数据输入。为此，亚马逊云科技提供了贯穿生成式AI全周期的数据治理，从数据源的获取到数据的存储和查询，再到将数据传输给 AI平台进行模型的训练、调优和推理，以及全面实施数据分类和治理。

“诸如敏感数据保护、多层次保护传输中的数据、保护使用中的数据等一整套的解决方案、产品服务和最佳实践，能够帮助企业加速落地端到端的云原生数据战略，给生成式AI 提供高质量的数据支持。”代闻如是说。

企业需要借助模型以及基础模型构建AI应用，要确保训练结果的准确性和有效性，模型训练的安全性同样至关重要，企业应全方位地监控模型的安全运行，包括模型的访问安全、模型的管理、模型运行的安全监控等。

针对大模型，最新推出Amazon Bedrock和多种生成式AI服务和功能，以帮助客户构建和扩展自己的生成式AI应用程序。据悉，Amazon Bedrock提供了广泛的基础模型因此客户可以选择最能满足需求的模型。

生成式AI应用本身以及访问的安全性也同样重要。亚马逊云科技利用自身经验，将Amazon CodeWhisperer、Amazon CodeGuru Security等AI防护应用到软件开发的全生命周期，让开发更便捷，更安全。

针对应用的安全访问，企业可构建零信任的应用安全访问策略。代闻表示：“零信任不是一个标准的工具或者解决方案，而是一套机制，并且需要经过演练和考验。我们需要对访问大模型的应用进行权限管理，确保只有在拥有特定权限的应用，才能访问或者调用大模型里的指定API。”

据悉，最新推出的Amazon Verified Permissions，为用户构建的应用程序提供细粒度授权和权限管理，用户可以使用该服务管理其应用程序的角色和属性的访问控制。

写在最后

当前，AI技术带来了巨大的机遇，但我们也需要面对与之相关的安全挑战。企业和个人通过加强网络安全、数据隐私保护、系统更新和意识培训，同时也应该采用相关安全防护措施，有效应对攻击入侵和数据泄露，确保AI技术的安全运营，从而构建一个安全和可信赖的AI时代。

关键词：