[发明专利]一种数据分类和处理方法及设备

说明书

本发明公开了一种计算机实现的数据分类及处理方法，该方法包括将所接收到的原始数据划分为多个类别，将所述多个类别按预定顺序存储在第一索引表中，对每一类别赋予不同的权重值，根据用户输入的索引词从第一索引表中确定相关联的多个类别，根据所确定的多个类别中每一个类别与所确定的多个类别基于权重值的加权平均值的相关系数将每一个类别按照相关系数从大到小的顺序存储在第二索引表中，输出第二索引表中排在首位的类别，以及以第二索引表为基础对所述第一索引表的存储顺序进行持续调整。本发明还公开了一种数据分类及处理设备。

技术领域

本发明关于数据库中的数据处理方法领域，更具体地，关于一种数据分类和处理方法及设备。

背景技术

当前随着大数据领域的发展，各种产业领域中逐渐开始利用对海量数据进行计算机统计分析而提取有用的信息。在各政府部门和机构在其管理公共事务的长期过程中也已经积累了大量统计数据，但这些统计数据的存储方式，格式和兼容性可能存在着极大差别而无法高效地对其加以利用。尤其是在历史较久的数据进行处理时，往往由于不同部门之间使用不统一的数据规范而需要人工对这些数据进行筛选和转换才能使其成为可以进行计算机分析的格式。人工筛选和转换不但具有效率低和成本高的缺陷，而且较容易出现错误。

即使在完成了数据整理和归类的情况下，也因为数据量巨大而难以从中正确选取用于分析特定问题的数据类型。由于分析特定问题可能只需要数千甚至数万种类的数据中的几种，在分析不同的问题时每次都必须重新确定所需要的数据类型。根据政府部门的具体应用场景的变化，可能某个类型的数据使用频率变得更高，而其他类型的数据变得更低。如果能够智能地分析各种类型数据对于用户的重要性等级，并且相应地根据重要性等级进行排序，将能够提升数据检索和存取的效率。现在仍然缺少一种高效的数据处理方法来使得能够以高响应速度检索所需要的几种数据，并且根据检索结果智能地调整数据库中数据的存储策略以进一步提升下一次检索的响应速度。

发明内容

本发明的实施例的一个目的是解决至少一些现有技术的上述问题，并提出一种根据权重提高数据检索的响应速度，并且根据检索结果智能优化数据存储策略的方法和设备。

本发明公开了一种计算机实现的数据分类及处理方法，包括将所接收到的原始数据划分为多个类别，将所述多个类别按预定顺序存储在第一索引表中，对每一类别赋予不同的权重值，根据用户输入的索引词从第一索引表中确定相关联的多个类别，根据所确定的多个类别中每一个类别与所确定的多个类别基于权重值的加权平均值的相关系数将每一个类别按照相关系数从大到小的顺序存储在第二索引表中，输出第二索引表中排在首位的类别，以及以第二索引表为基础对所述第一索引表中多个类别的存储顺序进行调整。

在一些实施例中，该预定顺序为从最早原始数据到最近原始数据排列的时间顺序。

在一些实施例中，第一索引表存储在非易失性存储器中。

在一些实施例中，第二索引表存储在易失性存储器中。

在一些实施例中，权重值通过由主成分分析提取的公共因子来确定。

在一些实施例中，将从所接收到的原始数据划分为多个类别的步骤包括对所述原始数据进行标准化并划分为多个类别。

在一些实施例中，将从所接收到的原始数据划分为多个类别的步骤包括对以时间序列原始数据进行指数平滑并划分为多个类别。

在一些实施例中，原始数据通过有线或无线数据连接接收。