AIGC的安全风险

AIGC的合规要求

《生成式人工智能服务管理暂行办法》
国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局七部门于2023年7月13日联合公布,自2023年8月15日起施行。 《办法》既是促进生成式人工智能健康发展的重要要求,也是防范生成式人工智能服务风险的现实需要。
监管对象
向中国境内公众提供生成文本、图片、音频、视频等内容的服务。
要求简介
在模型设计、模型生成和优化、提供服务的过程中,对训练数据选择、生成内容合法合规方面做了明确规定。对于数据标注,应当开展数据标注质量评估,抽样核验标注内容的准确性,对标注人员进行必要培训。提供者发现违法内容的,应当及时采取停止生成、停止传输、消除等处置措施,采取模型优化训练等措施进行整改。提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。服务提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。

AIGC安全开发运营参考框架

AIGC安全方案

模型开发
模型/应用上线
模型运营
核心能力
模型训练数据违规审核
通过机器审核和人工审核,发现训练数据中的违规内容,同时降低个人敏感数据泄漏风险,对训练数据的真实性和客观性进行判断。
模型训练数据标注评价
对样本数据和标注结果进行审核,降低由于标注错误导致的模型异常。
相关产品
核心能力
模型评测和优化
违规测试样本丰富,通过诱导测试、对抗测试等多种测试方法,全面发现模型在异常输入时的风险。
模型应用的渗透测试
对利用大模型对外服务用户的应用,渗透测试全面发现应用的安全漏洞,提前修复。
相关产品
核心能力
API安全治理
通过Web应用防火墙,持续监测大模型对外服务的API接口中传输的敏感内容,对爬取API接口养料的行为进行bot管理,对入侵大模型应用的行为进行拦截。
模型算力安全
通过云安全中心,对利用大模型训练集群挖矿的风险进行检测和拦截。同时,防护大模型应用集群的主机安全。
业务安全持续合规
通过内容安全人工审核+机器审核,持续监测用户提示词和生成内容,持续降低合规风险。实人认证对使用大模型应用的用户实名验证,防止未成年人沉迷。
相关产品

方案优势

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等