[发明专利]数据拆分方法、装置、计算机可读存储介质和计算机设备

说明书

本申请涉及一种数据拆分方法、装置、计算机可读存储介质和计算机设备，所述方法包括：从数据集中提取待拆分行的行数据；获取所述行数据中的关键维度数据和度量数据；利用文本分割算法对所述关键维度数据进行拆分，得到目标关键维度数据；利用数值分布算法对所述度量数据进行拆分，得到目标度量数据；分别将各所述目标关键维度数据与对应的所述目标度量数据进行拼接；将拼接所得的目标关键维度数据和目标度量数据，添加至提取所述行数据后的数据集。本申请提供的方案可以提高数据拆分效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据拆分方法、装置、计算机可读存储介质和计算机设备。

背景技术

在对海量数据进行分析时，当数据实体的中一些维度的维度数据是多个并列的描述内容，且该描述内容包含了在维度空间的多个实例时，若在对该数据实体进行分析之前，未对该维度数据进行处理，会导致分析结果不准确。

传统方案中，对数据实体进行分析之前，通常是人工将多个并列的描述内容进行拆分，然而这种人工拆分的方式导致数据拆分的准确率和效率均较低。

发明内容

基于此，有必要针对数据拆分的准确率和效率较低的技术问题，提供一种数据拆分方法、装置、计算机可读存储介质和计算机设备。

一种数据拆分方法，包括：

从数据集中提取待拆分行的行数据；

获取所述行数据中的关键维度数据和度量数据；

利用文本分割算法对所述关键维度数据进行拆分，得到目标关键维度数据；

利用数值分布算法对所述度量数据进行拆分，得到目标度量数据；

分别将各所述目标关键维度数据与对应的所述目标度量数据进行拼接；

将拼接所得的目标关键维度数据和目标度量数据，添加至提取所述行数据后的数据集。

在一个实施例中，所述从数据集中提取待拆分行的行数据，包括：

获取异常判定条件；

按照所述异常判定条件对数据集进行扫描，得到异常数据；

将所述异常数据所在的数据行确定为待拆分行；

提取所述待拆分行对应的行数据。

在一个实施例中，所述按照所述异常判定条件对源数据表进行扫描，得到异常数据，包括：

获取各维度对应的维度空间；

判断各所述维度对应的维度数据是否均属于对应的所述维度空间；

将不属于所述维度空间的数据确定为异常数据。

在一个实施例中，所述利用文本分割算法对所述关键维度数据进行拆分，得到目标关键维度数据，包括：

对所述关键维度数据进行分词，得到分词词组；

从所述分词词组中选择与关键词库匹配的目标分词词组；

对所述目标分词词组进行拆分，将拆分后所得的目标分词词组作为目标关键维度数据。

在一个实施例中，所述利用数值分布算法对所述度量数据进行拆分，得到目标度量数据，包括：

获取所述目标关键维度数据的数据条目；

获取数据分析的目标需求，根据所述目标需求确定对所述度量数据进行拆分的拆分方式；

利用数值分布算法，按照所述数据条目和所述拆分方式对所述度量数据进行拆分，得到目标度量数据。