[发明专利]一种针对海量数据可配置的多重索引及回放方法及其系统有效
申请号: | 201510759972.3 | 申请日: | 2015-11-10 |
公开(公告)号: | CN105404664B | 公开(公告)日: | 2018-08-31 |
发明(设计)人: | 曾美霞;郑金松 | 申请(专利权)人: | 上海尚毅测控技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 苏州翔远专利代理事务所(普通合伙) 32251 | 代理人: | 陆金星 |
地址: | 201315 上海市浦东新区康*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海量数据 回放 局部数据 可配置的 数据回放 数据索引 索引 多级索引 原始数据 有效地 还原 放大 走势 | ||
1.一种针对海量数据可配置的多重索引及回放方法,其特征在于:它包括数据索引算法和数据回放方法,其中,
所述的数据索引算法如下:
(11)用户根据需要从每N个相邻的海量原始数据中提取至少两个特征数据,所述的N称为特征值抽样率N,所提取的每组特征数据构成了一级索引数据;
(12)按照步骤(11)的方式,在所述一级索引数据中仍以特征值抽样率N为一组提取至少两个特征数据,所提取的每组特征数据构成了二级索引数据;
(13)以此类推,通过n级索引数据获取n+1级索引数据,即为最高层级的索引数据;
所述的数据回放方法包括:
(21)所述的最高层级的索引数据以图形的方式呈现,其代表整体数据概略;
(22)当用户针对局部数据查看时,判断其选中的区域数据的上一级索引所对应的数据读出后有没有超出系统预设的最长长度数据值,如果没有超出,则将与所选数据区间对应的上一级索引的数据呈现在图形中;如果超出预设的最长长度数据值,则对当前所选区域的数据在图形中做局部放大;
(23)以此类推,直至将用户感兴趣的原始数据呈现在图形上;
所述的步骤(22)中,所述的上一级索引中为了获取其对应的数据值,在其相邻层级数据间以及索引数据与原始数据间建立有数据投影关系,所述的数据投影关系建立包括如下步骤:
(221)对于一级索引,利用两列数据分别记录特征数据以及该特征数据在原始数据中所对应的数据位置;
(222)对于二级索引,利用三列数据分别记录二级特征数据、二级特征数据在一级索引数据中所对应的位置以及该二级特征数据在原始数据中所对应的位置;
(223)对于n级索引,需要n+1列数据分别记录特征数据、该数据在n-1级索引中所对应的位置、该数据在n-2级索引中所对应的位置、以此类推直至记录该数据在原始文件中所对应的位置。
2.根据权利要求1所述的针对海量数据可配置的多重索引及回放方法,其特征在于:所述的特征数据为每级索引数据中每组N个数据中的最大值和最小值。
3.根据权利要求1所述的针对海量数据可配置的多重索引及回放方法,其特征在于:所述索引数据的层级数量根据原始数据的大小进行动态选择。
4.根据权利要求1所述的针对海量数据可配置的多重索引及回放方法,其特征在于:所述的原始数据为m维数据,当m大于1时,将m维数据当作m组一维数据进行处理。
5.一种采用权利要求1所述的针对海量数据可配置的多重索引及回放方法的系统,特征在于:其包括索引器和回放器,所述的索引器对未曾索引的数据进行特征值提取并形成索引数据,并标识原始数据为“已索引”,所述的回放器用于面对用户对所需数据进行图形显示。
6.根据权利要求5所述的针对海量数据可配置的多重索引及回放系统,其特征在于:所述的索引器定期对指定路径下的数据文件进行查询,当发现该路径下存在未曾索引的数据文件时便对其进行索引。
7.根据权利要求5或6所述的针对海量数据可配置的多重索引及回放系统,其特征在于:所述的索引器以守护进程或Windows服务的方式进行部署。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海尚毅测控技术有限公司,未经上海尚毅测控技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510759972.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种电子设备
- 下一篇:一种基于HFile的HBase二级索引更新方法及系统