基于对抗提示挖掘的文生图安全性提升方法及装置
2025-02-28 10:42
No.1344983238892068864
技术概要
PDF全文
本技术公开了一种基于对抗提示挖掘的文生图模型安全性提升方法及装置,方法包括:预定义若干个可优化的噪声嵌入作为优化目标,并利用最近邻搜索方法在嵌入空间中获取噪声嵌入最接近的代理嵌入,并拼接到干净嵌入的尾部,获得对抗嵌入,利用CLIP模型中的文本编码器编码对抗嵌入提取对抗提示的特征;利用图文匹配目标函数,最大化对抗提示特征与风险目标图像特征语义相似度,建立对抗提示与风险目标图像间的关联关系;在利用目标函数反向优化噪声嵌入过程中,将代理嵌入对应的梯度传递给噪声嵌入构建优化过程,实现基于梯度的噪声嵌入连续优化;优化结束后,在单词搜索空间中查询与噪声嵌入最匹配的单词,并拼接到干净提示后生成最终的对抗提示。装置包括:处理器和存储器。
背景技术
近些年,文生图模型[1-3] 通过利用输入的文本提示生成多样的、高质量的图片,受到了研究人员以及社区用户的广泛关注。几个代表性的商业产品,例如:DALL·E 3[4] 、Midjourney[5] 、Stable Diffusion[6] 等已经被广泛地应用在内容生成、艺术创作以及市场营销等各种领域。但广泛的应用也会引起了人们对于文生图模型滥用、误用的担忧,例如:利用文生图模型生成一些风险有害图片,对信息的传播造成负面影响。因此,对于文生图模型研发安全防护措施来防止有害图片的生成变成了一个紧急的任务[7-8] 。研究人员也在这个领域做出了持续的努力来改善生成图片的安全性。例如:DALL·E 3和Midjourney分别部署了图片审核器来识别生成的有害图像。然而,这些图片审核器通常仅在有限的真实图片中进行训练,很难有效检测多样化的生成图片[9] 。 为了缓解这个问题,现阶段文生图更多依赖于审核输入的文本提示来保障生成的图像的安全。然而,这些防护措施仍然存在漏洞,恶意用户可以利用对抗提示(特指不包含有害单词的文本提示),诱导图像生成风险图像,严重威胁了文生图模型的安全[10-11] 。 为此,有必要对文生图模型的安全性漏洞进行研究,探究如何在文本提示不包含目标单词的情况下,诱导生成风险图片,进而利用这些对抗提示来进一步保障模型安全。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王岚君  张晨宇  刘安安
技术所属: 天津大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利