今天小李哥将开启全新的技术分享系列，为大家介绍生成式AI的安全解决方案设计方法和最佳实践。近年来，生成式 AI 安全市场正迅速发展。据 IDC 预测，到 2025 年全球 AI 安全解决方案市场规模将突破 200 亿美元，年复合增长率超过 30%，而 Gartner 则预估到 2025 年约 30% 的网络攻击将利用生成式 AI 技术。与此同时，Capgemini 的调查显示，近 74% 的企业认为 AI 驱动的安全防护至关重要，加上 Cybersecurity Ventures 报告指出，与生成式 AI 相关的安全事件年增长率超过 20%，这充分表明企业和安全供应商正面临日益严峻的安全挑战，并加大投入以构建更全面的防护体系。今天要介绍的就是如何设计生成式AI应用安全解决方案，抵御OWASP Top 10攻击。未来也会分享更多的AI安全解决方案，欢迎大家关注。
目前我们生活中有各色各样的生成式 AI应用，常见的场景之一就是生成式AI对话助手。然而在部署之前，通常还要对应用进行评估，其中包括了解安全态势、监控和日志记录、成本跟踪、弹性等问题。在这些评估中，安全性通常是最高优先级。如果存在无法明确识别的安全风险，我们就无法有效解决这些风向，这可能会阻碍生成式AI应用向生产环境部署的进度。
在本文章中，小李哥将向大家展示一个自己设计的生成式应用的真实场景，并演示如何利用 OWASP安全框架，基于大语言模型应用常见的Top 10安全攻击来评估应用的安全态势，以及实施缓解措施。
生成式 AI 范围框架
在我们开始介绍方案前，我们首先要了解生成式AI应用的两种模式，托管和私有化部署。当我们使用亚马逊云科技的生成式AI安全框架，我们要理解适用于我们应用的部署模式以及对应安全控制，和如何利用亚马逊责任共担模型提升应用安全性。例如下图中我们就针对不同的部署模式对应了5个scope范围，Scope 1的“Consumer Apps”类应用中，比如亚马逊的PartyRock或OpenAI的ChatGPT，通常是面向公众的应用，大部分内部安全由服务提供商掌控，大家在安全方面的责任主要在客户端。与此相对的是Scope 4/5层应用，在这类应用中，大家不仅要自行构建和保障生成式AI应用，还需要负责对底层大语言模型进行微调和训练。Scope 4/5应用的安全控制范围会更多、更广，从前端、后端到LLM模型的安全都有涉及。本文将重点讨论Scope 3生成式AI应用的安全解决方案，这是实际应用中较为常见的案例。
下图展示了亚马逊云科技生成式AI安全范围矩阵的5个scope，并总结了各个范围下模型/部署的类型。
针对大语言模型的OWASP Top 10攻击框架
接下来我们将利用OWASP Top 10攻击框架来理解目前生成式AI应用的威胁和缓解措施，OWASP是评估应用安全性最常见的方法之一。针对大语言模型的OWASP Top 10攻击框架专门应用于生成式AI应用，帮助大家发现、理解并防护生成式 AI 所面临的新型威胁。
生成式AI应用安全解决方案设计
接下来，我们从一个完整的生成式AI的应用架构图出发，展示如何对一个典型的生成式AI应用，在OWASP大语言模型威胁框架下进行风险评估。流程图如下图所示。
在这一架构中，最终用户的请求通常会经过以下组件：
身份验证层
这一层验证连接到应用的用户是否真的是他们所声称的身份。通常通过某种身份提供商（IdP）功能实现，比如 Okta、亚马逊云科技 IAM Identity Center 或 Amazon Cognito。
应用控制层
这一层包含大部分应用业务逻辑，负责决定如何处理传入的用户请求，包括生成 LLM 提示并处理 LLM 响应，之后再将结果返回给用户。
LLM 与 LLM 代理
LLM 提供生成式 AI 助手的核心能力，而 LLM 代理则负责协调完成所需请求的各个步骤，这些步骤可能同时涉及 LLM 的使用和外部数据源及 API。
代理插件控制层
该组件负责与外部数据源和 API 的集成，同时保存着 LLM 代理可能引用的外部组件的逻辑名称和物理名称之间的映射关系。
RAG 数据存储
检索增强生成（RAG）数据存储通过数据连接器，从数据仓库、数据库以及其他软件即服务（SaaS）应用中提供最新、精准且受控访问的信息。
针对大语言模型的OWASP Top 10风险映射到应用堆栈的各个层面，突出了从用户界面到后端系统的漏洞。在接下来的章节中，我们将讨论每个层面的风险，并提供一个基于亚马逊云科技的生成式 AI 助手应用设计模式，以缓解这些风险。
下图展示了在亚马逊云科技上实现生成式AI应用的安全最佳实践架构图。下面我会将下图中的各层解决方案依次介绍。
身份验证层（Amazon Cognito）
常见的安全威胁，如暴力破解攻击、会话劫持和拒绝服务（DoS）攻击，都有可能发生。为了缓解这些风险，需要实施最佳实践，比如多因素认证（MFA）、速率限制、安全的会话管理、自动会话超时以及定期令牌轮换。此外，部署诸如亚马逊云科技 WAF 和分布式拒绝服务（DDoS）缓解等边缘安全措施，有助于拦截常见的网络攻击，并在攻击期间保持服务可用性。
在上述架构图中，亚马逊云科技 WAF 与 Amazon API Gateway 集成，用于过滤传入流量，屏蔽不必要的请求，从而保护应用免受 SQL 注入、跨站脚本（XSS）和 DoS 攻击等威胁。亚马逊云科技 WAF Bot Control 进一步提升了安全性，通过提供对机器人流量的可视性和控制，让大家可以屏蔽或对不受欢迎的机器人进行限速。该功能可通过亚马逊云科技 Firewall Manager 在多个账号间集中管理，从而为应用提供一致而强大的保护。
Amazon Cognito 补充了这些防御措施，通过实现用户身份验证和数据同步，支持用户池和身份池，使大家能够在不同设备间无缝管理用户身份并与第三方身份提供商集成。Amazon Cognito 提供的安全功能包括 MFA、OAuth 2.0、OpenID Connect、安全会话管理以及基于风险的自适应身份验证，帮助防止未经授权的访问，通过对登录请求中可疑活动的评估，并通过额外的安全措施（如 MFA 或屏蔽登录）进行响应。此外，Amazon Cognito 还强制防止密码重用，从而进一步降低凭据泄露的风险。
亚马逊云科技 Shield Advanced 为应对复杂的 DDoS 攻击提供了额外的保护。它与亚马逊云科技 WAF 集成，通过定制检测和基于健康状况的评估，提供全面的边界保护，增强了对攻击的响应能力。Shield Advanced 还提供全天候的支持服务，由亚马逊云科技 Shield 响应团队提供支持，并包括 DDoS 成本保护，确保应用在保持安全的同时成本可控。Shield Advanced 与亚马逊云科技 WAF 搭配，为应用构建了一个既能抵御各种威胁，又能保持高可用性的安全框架。
这一综合安全设置有效解决了LLM10:2025不受限制的使用和LLM02:2025敏感信息泄露的问题，确保应用既具备弹性又安全。
标签：10,AI,生成式,亚马逊,安全,应用,OWASP From： https://blog.csdn.net/m0_66628975/article/details/145446335