高效信息去重技术:方法、设备与存储解决方案
2025-02-11 09:41
No.1338807185295286272
技术概要
PDF全文
本技术涉及一种信息去重技术,包括方法、设备和存储介质。该技术在接收到新上传的文件后,通过构建多维度特征向量对文件进行分析,实现与样本文件在各个维度上的比较,以达到信息去重的目的。
背景技术
在互联网快速发展的时代,随着内容生产的门槛降低,视频、图片、文本等信息的上传量发布量以指数级的速度增长。以短视频内容为例,由于其具有生产流程简单、制作门槛低、参与性强等特点,可以来源于PGC(Professionally-generated Content,专业生产内容)、UGC(User-generated Content,用户生产内容)、用户上传、各种专门制作短视频的机构或应用程序、MCN(Multi-Channel Network)等等,使得短视频已经成为内容创业和社交媒体平台的重要传播方式之一。 然而,在实际应用中,由于各个短视频平台为了鼓励创作内容,对内容都有相关的补贴和激励机制,使得内容创作者为了提升自己的收益,会上传大量类似或者直接拷贝抄袭其他号主的重复内容,甚至会为了增加吸引力,上传一些如涉及血腥暴力、危害安全的高危内容及其变种,不利于整个内容生态的健康发展。 所以,为了保证分发内容的安全性、时效性和内容本身版权来源方的利益,通常需要对上传内容进行审核,剔除不利于整个内容生态的健康发展的内容,若直接对上传的内容进行审核,往往会因审核内容过于庞大而导致审核耗时非常长,增加审核成本降低审核准确率。对此,现有技术通常是先利用相似检测算法消除重复内容,再进行其他内容的审核,但在消重处理过程中,目前是依据标题或图片相似度计算结果,对大量文件进行依次消重处理,消重效率和准确率都较低,往往会因过度消重,导致无法满足业务需求。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
刘刚
技术所属: 腾讯科技(上海)有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利