[发明专利]一种面向流式数据的非重复采样方法有效
申请号: | 201910811871.4 | 申请日: | 2019-08-30 |
公开(公告)号: | CN110609832B | 公开(公告)日: | 2022-12-09 |
发明(设计)人: | 温延龙;鲁茸定主;袁晓洁 | 申请(专利权)人: | 南开大学 |
主分类号: | G06F16/215 | 分类号: | G06F16/215 |
代理公司: | 天津耀达律师事务所 12223 | 代理人: | 侯力 |
地址: | 300071*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 一种面向流式数据的非重复采样方法,包括:判断全局组团直径数组的稳定性;存储部分流式数据作为训练数据集,进行数据清洗,去除冗余、不规范数据点;基于数据集各维度分离度的特性,学习训练数据集在各维度上的最优组团直径;更新全局组团直径数组;结合局部敏感哈希,对流式数据进行非重复采样,并实时维护接收集合与拒绝集合;最后每当查询到来,就可以从接受集合中随机采样出结果集合。本发明提出的面向流式数据的非重复采样方法,能够根据数据点的空间分布,信息特征准确、高效的采样具有代表性的数据点,能够极大的减少数据量,同时高度保留原始数据的信息,方便上层应用进行快捷、高效的实时分析。 | ||
搜索关键词: | 一种 面向 数据 重复 采样 方法 | ||
【主权项】:
1.一种面向流式数据的非重复采样方法,其步骤为:/n第1、读取流式数据,判断全局组团直径数组的稳定性;/n设置一个变量来存储全局组团直径数组的稳定性,初始值设置为0,表示不稳定,再进入第2步,之后在第4.1步中重新计算全局组团直径数组的稳定性,若达到稳定,则置为1,同时对于下一轮的数据而言,将直接进入第5步;/n定义1:流式数据,定义如下:/n流式数据是一组顺序、大量、快速、连续到达的数据序列,流式数据被视为一个随时间延续而无限增长的动态数据集合;/n第2、存储部分流式数据作为训练数据集,并进行数据清洗,去除不规范数据点;/n第2.1、对于流式数据,数据会源源不断的到来,选取一个预设固定时间段内的数据进行存储,作为训练数据集;/n第2.2、清洗训练数据集,去除不规范数据点;/n定义2:不规范数据点,定义如下:/n对于同一个数据集中的任意一个数据点,若存在以下一个或者多个情况,则该数据点为不规范数据点:/n(1)存在缺失属性,也即数据点采集不完整;/n(2)存在错误属性;/n(3)存在重复数据点,也即存在所有属性均一致的数据点,那么除去第一次出现的数据点以外,剩余数据点均为重复数据点;/n第3、基于数据集各维度分离度的特性,学习训练数据集在各维度上的最优组团直径;/n定义3:(α,β)-数据集,定义如下:/n令S为流式数据,d为S的数据维度,D(.,.)为欧式距离度量方法,α(α
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南开大学,未经南开大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910811871.4/,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置