[发明专利]面向大数据环境的概要信息动态构建与查询方法及装置

摘要

本发明涉及一种面向大数据环境的概要信息动态构建与查询方法及装置。该方法以Count‑Min Sketch方法为基础，采用数据流的第一范数描述数据规模，采用数据的基数值描述数据的分布情况；首先为流式大数据分配一较小空间的Count‑min Sketch结构，随着数据不断加载，当Count‑min Sketch结构记录的数据项个数达到阈值且数值空间基数达到阈值以后，建立新的Count‑min Sketch结构，用以接收后续到来的新数据。本发明能够根据数据量和数值基数自动建立新的Sketch结构，以较高精度统计数据，有效支持流式大数据的高精度的实时统计和分析。

主权项

1.一种面向大数据环境的概要信息动态构建方法，其步骤包括：1)以Count‑Min Sketch方法为基础，采用数据流的第一范数描述数据规模，采用数据的基数值描述数据的分布情况；2)为流式大数据分配一较小空间的Count‑Min Sketch结构，随着数据不断加载，当初始的Count‑Min Sketch记录的数据项个数达到阈值且数值空间基数达到阈值以后，建立新的Count‑Min Sketch结构，用以接收后续到来的新数据；为每个Count‑Min Sketch结构构建Bloomfilter，用于统计每个Count‑Min Sketch内部数据的存在性，每个Count‑Min Sketch接收的数据同时写入到Bloomfilter中；进行数据写入的具体流程为：设到达的数据项为，当有新数据到达时，首先把key写入全局基数估算器中，并实时计算当前的基数规模Di，然后统计当前Count‑Min Sketch的第一范数的值||a||1；如果||a||1＝N，则判断Di‑Di‑1是否大于r×w，如果Di‑Di‑1

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所，未经中国科学院信息工程研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201510061345.2/，转载请声明来源钻瓜专利网。