[发明专利]一种基于大数据的降维转换方法、电子设备、存储介质

说明书

本发明提供一种基于大数据的降维转换方法，包括步骤数据分类、数据抽取、数据重组、建立数据降维索引。本发明根据业务选择属性建立不同的阈值范围，降低多表属性数据拼接的时间，尤其适用于业务关系复杂的数据记录之间，同时，数据记录簇集的选择和设置也具有针对性，保证用户关注点更高的属性列值被优先进行处理，提高列值处理的效率。本发明还通过数据反馈，通过对阈值和簇集的调整，优化数据处理的效率，提高数据结构的合理性。

技术领域

本发明涉及一种数据转换，尤其涉及一种基于大数据的降维转换方法、电子设备、存储介质。

背景技术

目前市场上数据存储使用的传统数据库大多为二维关系形式，即由行与列组成一条完整的记录，该条记录具有唯一的ID以及主键，主键不能为空，数据记录插入时一般作为最新记录在尾部完成操作，数据结构一旦确定不能动态改变。

将上述结构的数据转化为大数据库记录时，一般采用的方法是将二维数据库中相关的多表记录提取出来，利用选择的开发语言将记录进行拼接，并设置相应的簇集，选择所需要列值插入到大数据数据库中。这种转换技术需要消耗大量的记录拼接时间，尤其当记录数据之间关系非常复杂时，所需要的处理时间往往是不能接受的，此外，簇集的设置随意，不能很好体现各列值重要性以及相关属性关系，同时，随着数据量呈现几何增长，当存储入大数据库中时，处理速度及其缓慢，处理效率呈现几何数量下降。因此，急需一种高效而深度整合的大数据转换方法。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于大数据的降维转换方法，根据业务选择属性建立不同的阈值范围，降低多表属性数据拼接的时间，尤其适用于业务关系复杂的数据记录之间，同时，数据记录簇集的选择和设置也具有针对性，保证用户关注点更高的属性列值被优先进行处理，提高列值处理的效率。

本发明提供一种基于大数据的降维转换方法，包括以下步骤：

数据分类，对二维数据库中的数据表内数据进行分类，构建所述数据的阈值对应关系；

数据抽取，构建各所述数据表之间映射关系，按所述映射关系抽取所述数据；

数据重组，根据所述阈值对所述数据进行排序，并根据基准阈值将所述阈值相近的对应数据建立簇集；

建立数据降维索引，根据所述阈值范围与所述簇集，将所述簇集对应所述数据表中的列数据作为整体对象插入至大数据库中，等待用户查询。

进一步地，还包括步骤数据反馈，获取用户查询所述数据的频率，将所述频率反馈至所述大数据库内对应数据。

进一步地，所述步骤数据反馈具体为根据用户查询所述数据的频率，标记并调整所述频率对应的基准阈值大小与对应的簇集中的属性列。

进一步地，所述步骤数据抽取中抽取所述数据暂存在内存或者工具中等待调用。

进一步地，所述步骤数据重组具体为根据数据的分类与内存、工具中数据属性，设置数据的阈值范围，所述的阈值数值大小从大到小降序排列，并按排序将所述阈值相近的对应数据建立簇集。

进一步地，所述步骤建立数据降维索引还包括按时间降序建立默认的隐藏主键，并将所述主键导入至搜索引擎。

进一步地，所述步骤数据分类具体采用平均权值法，所述数据中主键与外键对应关系每出现一次，所述数据对应的阈值增加一基准单位值。

进一步地，所述步骤数据重组具体根据基准阈值将所述阈值误差率在5％范围内的阈值的对应数据建立簇集。

一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于大数据的降维转换方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行基于大数据的降维转换方法。