[发明专利]一种冷热数据分类的方法、装置、设备及可读存储介质有效
申请号: | 202210740213.2 | 申请日: | 2022-06-28 |
公开(公告)号: | CN114817425B | 公开(公告)日: | 2022-09-02 |
发明(设计)人: | 李小军;杨柳;吴壮壮;张学刚;任双宏;刘恒 | 申请(专利权)人: | 成都交大大数据科技有限公司;西南交通大学;中铁建安工程设计院有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06K9/62 |
代理公司: | 北京集智东方知识产权代理有限公司 11578 | 代理人: | 刘林;陈攀 |
地址: | 610073 四川省成都*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 冷热 数据 分类 方法 装置 设备 可读 存储 介质 | ||
1.一种冷热数据分类的方法,其特征在于,包括:
获取至少两个数据流信息,每个所述数据流信息包括入库数据以及所述入库数据对应的温度参数和第一时刻;
判断所述入库数据是否被访问,若所述入库数据被访问,则获取第二时刻以及所述入库数据在所述第一时刻下对应的所述温度参数、数据价值增量、数据温度增量和数据价值权重;并根据所述温度参数、所述数据价值增量、所述数据温度增量和所述数据价值权重更新所述入库数据在所述第二时刻下对应的所述温度参数;所述第二时刻为所述入库数据被访问时的时间参数;
基于所述入库数据对应的更新后的所述温度参数,对所述数据流信息进行冷热数据的分类。
2.根据权利要求1所述的冷热数据分类的方法,其特征在于,在判断所述入库数据是否被访问之前还需要对所有的所述入库数据进行预处理,所述预处理包括:
分别判断每个所述数据流信息是否在预设的归类条件内,若所述数据流信息在所述预设的归类条件内,则得到至少一个子数据库,所述子数据库为所述数据流信息进行聚类处理划分后的具有同一属性的数据集合;所述归类条件为划分同一属性数据的信息;
基于所述第一时刻,判断每个所述子数据库中是否存在缺失数据,若不存在缺失数据,则分别对每个所述子数据库进行剔除,并更新每个所述子数据库为剔除后的子数据库;若存在缺失数据,则对每个所述子数据库进行补全,并更新所述子数据库为补全后的子数据库。
3.根据权利要求2所述的冷热数据分类的方法,其特征在于,对所述子数据库进行补全,包括:
基于所述第一时刻,获取所述子数据库中的缺失段信息;
根据所述缺失段信息,获取所述缺失段信息首尾两端的数据参数,所述数据参数包括所述入库数据和所述第一时刻;
根据所述缺失段信息首尾两端的所述数据参数计算得到插值系数;
根据所述数据参数和所述插值系数,对所述缺失段信息进行填充。
4.根据权利要求2所述的冷热数据分类的方法,其特征在于,所述数据价值权重的确定方法包括:
获取第一参数、第二参数和研究集合信息,所述第一参数为访问所述子数据库的用户数量;所述第二参数为对所述子数据库对应的数据应用价值的评估值;所述研究集合信息为不同属性的所述子数据库构成的数据集合;
根据所述第一参数和所述第二参数计算,得到第一数据价值,所述第一数据价值为所述子数据库对应的所述第一参数和第二参数之和;
根据所述第一数据价值和所述研究集合信息计算,得到第二数据价值,所述第二数据价值为所述研究集合信息中所有所述子数据库的所述第一数据价值之和;
根据所述第一数据价值和所述第二数据价值计算,得到所述子数据库对应的数据价值权重。
5.一种冷热数据分类的装置,其特征在于,包括:
获取模块:用于获取至少两个数据流信息,每个所述数据流信息包括入库数据以及所述入库数据对应的温度参数和第一时刻;
判断模块:用于判断所述入库数据是否被访问,若所述入库数据被访问,则获取第二时刻以及所述入库数据在所述第一时刻下对应的所述温度参数、数据价值增量、数据温度增量和数据价值权重;并根据所述温度参数、所述数据价值增量、所述数据温度增量和所述数据价值权重更新所述入库数据在所述第二时刻下对应的所述温度参数;所述第二时刻为所述入库数据被访问时的时间参数;
分类模块:用于基于所述入库数据对应的更新后的所述温度参数,对所述数据流信息进行冷热数据的分类。
6.根据权利要求5所述的冷热数据分类的装置,其特征在于,所述获取模块还包括:
第一处理单元:用于分别判断每个所述数据流信息是否在预设的归类条件内,若所述数据流信息在所述预设的归类条件内,则得到至少一个子数据库,所述子数据库为所述数据流信息进行聚类处理划分后的具有同一属性的数据集合;所述归类条件为划分同一属性数据的信息;
第二处理单元:用于基于所述第一时刻,判断每个所述子数据库中是否存在缺失数据,若不存在缺失数据,则分别对每个所述子数据库进行剔除,并更新每个所述子数据库为剔除后的子数据库;若存在缺失数据,则对每个所述子数据库进行补全,并更新所述子数据库为补全后的子数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都交大大数据科技有限公司;西南交通大学;中铁建安工程设计院有限公司,未经成都交大大数据科技有限公司;西南交通大学;中铁建安工程设计院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210740213.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置