[发明专利]数据存储、质量计算方法、装置、存储介质及服务器在审
申请号: | 201811595418.6 | 申请日: | 2018-12-25 |
公开(公告)号: | CN109669995A | 公开(公告)日: | 2019-04-23 |
发明(设计)人: | 张志远;李义彬;石志中;张俊杰 | 申请(专利权)人: | 北京锐安科技有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/22 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待存储数据 关键信息 数据存储 目标元数据 存储介质 后续数据 质量计算 元数据 服务器 存储 存储空间 存储数据 关联关系 计算效率 快速查找 数据对应 数据库 占用 | ||
本发明实施例公开了一种数据存储、质量计算方法、装置、存储介质及服务器。所述数据存储方法包括:获取待存储数据的关键信息;根据所述关键信息及获取的关键信息与元数据间的关联关系,确定与所述待存储数据对应的目标元数据;基于所述目标元数据将所述待存储数据存储于预先设定的数据库中。通过本发明实施例提供的技术方案,基于数据对应的元数据对数据进行存储,能够有效降低存储数据时占用的存储空间,同时有利于后续数据的快速查找,可以进一步提高后续数据质量的计算效率。
技术领域
本发明实施例涉及大数据处理技术领域,尤其涉及数据存储、质量计算方法、装置、存储介质及服务器。
背景技术
随着经济的飞速发展和科技的不断进步,互联网数据持续增长,如何对数据进行高效地存储,并快速了解存储数据的质量,以分析出存储数据的价值高低,对于数据分析领域的应用至关重要。
然而,相关技术中,直接将大量的数据存储在数据库中,当需要对数据进行质量分析时,直接在大量存储数据中查找有效的关联数据,查询效率低,用户体验差。
发明内容
本发明实施例提供一种数据存储、质量计算方法、装置、存储介质及服务器,可以基于数据对应的元数据对数据进行存储,有利用后续数据的快速查找。
第一方面,本发明实施例提供了一种数据存储方法,包括:
获取待存储数据的关键信息;
根据所述关键信息及获取的关键信息与元数据间的关联关系,确定与所述待存储数据对应的目标元数据;
基于所述目标元数据将所述待存储数据存储于预先设定的数据库中。
进一步的,所述目标元数据包括待存储数据的各字段组成、各字段类型、各字段长度、各字段对应的权重值及各字段用途,其中,根据各字段用途将待存储数据的各字段分为分组字段和计数字段。
进一步的,获取待存储数据的关键信息,包括:
按照设定周期获取待存储数据;
提取所述待存储数据的关键信息。
第二方面,本发明实施例还提供了一种数据质量计算方法,包括:
按照预设规则对数据库中存储的数据进行分类;
针对待计算类别所涉及的各个数据,确定各个数据字段的质量及各个数据字段对应的权重值;
根据所述各个数据字段的质量及所述各个数据字段对应的权重值,计算所述待计算类别数据的质量。
进一步的,针对待计算类别中所涉及的各个数据,确定各个数据字段的质量,包括:
针对待计算类别中所涉及的各个数据,统计非空数据字段的数量,并将所述非空数据字段的数量与待计算类别中所涉及的数据的总数的比值,当所述比值大于或等于预设比值时,确定为所述非空数据字段的质量为1,当所述比值小于所述预设比值时,确定所述非空数据字段的质量为0;
针对待计算类别中所涉及的各个数据,将空数据字段的质量记为0。
进一步的,根据所述各个数据字段的质量及所述各个数据字段对应的权重值,计算所述待计算类别数据的质量,包括:
根据如下公式计算所述待计算类别数据的质量:
Z=∑XiYi;
其中,Z表示待计算类别数据的质量,Xi表示第i个数据字段的质量,Yi表示第i个数据字段的权重值。
进一步的,在计算所述待计算类别数据的质量之后,还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司,未经北京锐安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811595418.6/2.html,转载请声明来源钻瓜专利网。