一种电信运营商用户表单数据空值、异常值处理方法
2025-02-26 12:13
No.1344281259840643072
技术概要
PDF全文
本技术公开了一种电信运营商用户表单数据空值、异常值处理方法,属于数据挖掘技术领域,包括:S1:筛选出原始数据中无缺失值、无异常值的高质量数据作为初始数据集1(假设初始数据特证数为n)。本发明通过一系列步骤,显著提升了数据质量,并可以充分利用数据资源,从而确保了数据分析的准确性,它通过筛选高质量数据、剔除无效样本、精确预测空值、采用综合填充策略、有效识别和处理异常值、优化模型性能、保持灵活性和可扩展性、逐步完善数据集、调整超参数以及利用专业知识,实现了数据集的全面优化,这种方法不仅提高了数据集的整体可用性和可靠性,而且还通过结合机器学习算法和人员经验,为数据分析和业务决策提供了强有力的支持。
背景技术
在电信运营商进行用户数据挖掘分析时,从数据库中获取的数据资源,普遍出现了缺失值和异常值较多的情况。当前,电信运营商在数据预处理的过程中,基本都是采用均值、中位数、众数等数值直接填充,或采取回归算法进行数据预测,从表单数据的角度来看,借助均值、中位数等特定数值填充,只考虑了单个特征的特性,而采取回归算法则仅借助单个样本中不同特征进行预测,未充分发挥表单中全部有效数据的作用。 同时,当前,国内外学者提出了很多缺失值填充和异常值识别的方法,这些方法在不同的领域都发挥了巨大的作用,但是对于表单数据的空值和异常值处理,基本都是借助特定值填充和回归算法预测实现,在原始数据预处理的方法上和电信运营商数据处理方法类似。 本发明实施例提供了一种数据处理方法,主要聚焦空值和异常值处理,以解决现有技术中空值和异常值处理过程中,尤其是回归算法,原始数据资源利用不足的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
张兵  周世杰  张帆  陈贤龙  陆泓宇  孔捷  刘辰
技术所属: 江苏大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利