[发明专利]一种面向流式数据的非重复采样方法有效

专利信息
申请号: 201910811871.4 申请日: 2019-08-30
公开(公告)号: CN110609832B 公开(公告)日: 2022-12-09
发明(设计)人: 温延龙;鲁茸定主;袁晓洁 申请(专利权)人: 南开大学
主分类号: G06F16/215 分类号: G06F16/215
代理公司: 天津耀达律师事务所 12223 代理人: 侯力
地址: 300071*** 国省代码: 天津;12
权利要求书: 查看更多 说明书: 查看更多
摘要: 一种面向流式数据的非重复采样方法,包括:判断全局组团直径数组的稳定性;存储部分流式数据作为训练数据集,进行数据清洗,去除冗余、不规范数据点;基于数据集各维度分离度的特性,学习训练数据集在各维度上的最优组团直径;更新全局组团直径数组;结合局部敏感哈希,对流式数据进行非重复采样,并实时维护接收集合与拒绝集合;最后每当查询到来,就可以从接受集合中随机采样出结果集合。本发明提出的面向流式数据的非重复采样方法,能够根据数据点的空间分布,信息特征准确、高效的采样具有代表性的数据点,能够极大的减少数据量,同时高度保留原始数据的信息,方便上层应用进行快捷、高效的实时分析。
搜索关键词: 一种 面向 数据 重复 采样 方法
【主权项】:
1.一种面向流式数据的非重复采样方法,其步骤为:/n第1、读取流式数据,判断全局组团直径数组的稳定性;/n设置一个变量来存储全局组团直径数组的稳定性,初始值设置为0,表示不稳定,再进入第2步,之后在第4.1步中重新计算全局组团直径数组的稳定性,若达到稳定,则置为1,同时对于下一轮的数据而言,将直接进入第5步;/n定义1:流式数据,定义如下:/n流式数据是一组顺序、大量、快速、连续到达的数据序列,流式数据被视为一个随时间延续而无限增长的动态数据集合;/n第2、存储部分流式数据作为训练数据集,并进行数据清洗,去除不规范数据点;/n第2.1、对于流式数据,数据会源源不断的到来,选取一个预设固定时间段内的数据进行存储,作为训练数据集;/n第2.2、清洗训练数据集,去除不规范数据点;/n定义2:不规范数据点,定义如下:/n对于同一个数据集中的任意一个数据点,若存在以下一个或者多个情况,则该数据点为不规范数据点:/n(1)存在缺失属性,也即数据点采集不完整;/n(2)存在错误属性;/n(3)存在重复数据点,也即存在所有属性均一致的数据点,那么除去第一次出现的数据点以外,剩余数据点均为重复数据点;/n第3、基于数据集各维度分离度的特性,学习训练数据集在各维度上的最优组团直径;/n定义3:(α,β)-数据集,定义如下:/n令S为流式数据,d为S的数据维度,D(.,.)为欧式距离度量方法,α(α
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南开大学,未经南开大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201910811871.4/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top