[发明专利]一种数据分析方法及装置

说明书

本发明公开了一种数据分析方法及装置，包括;获取包含历史数据的训练集：对所述训练集进行训练，将所述训练集中的数据进行分类；对各个分类下的数据进行可逆变换，去除所述训练集中数据的非重要特征，以获取包含重要特征的数据；获取所述包含重要特征的数据中与特征向量相同的数据；对所述训练集训练完成后，通过输出的多个重要特征的数据，构成所述数据对应的特征树；将特征树每个节点的特征，通过与所述节点维度相同的向量进行描述，构建预测函数，使用所述预测函数对待识别的数据进行分析，解决了机器学习在数据因果分析中遇到的样本数量少、时变的数据分布和高复杂度的数据不能有效的分析的问题。

技术领域

本申请涉及人工智能技术领域，具体涉及一种数据分析方法，同时涉及一种数据分析装置。

背景技术

已有的机器学习算法对样本数量少、时变的数据分布和高复杂度的问题并不能有效的解决。比如在论文NIPS2018《Idiosyncrasies and challenges of data drivenlearning in electronic trading》（数据驱动的学习在电子交易中的特质和难题）中讨论了随着复杂度的提升，学习空间会变得很大以致于难以识别。其次，机器学习对于小数据集进行预测十分困难，为了消除对模型质量的干扰，通常需要大量的监督学习。

发明内容

为解决上述问题，本申请提供一种数据分析方法，包括：

获取包含历史数据的训练集；

对所述训练集进行训练，将所述训练集中的数据进行分类；对各个分类下的数据进行可逆变换，去除所述训练集中数据的非重要特征，以获取包含重要特征的数据；获取所述包含重要特征的数据中与特征向量相同的数据；对所述训练集训练完成后，通过输出的多个重要特征的数据，构成所述数据对应的特征树；

将特征树每个节点的特征，通过与所述节点维度相同的向量进行描述，构建预测函数，使用所述预测函数对待识别的数据进行分析。

优选的，将所述训练集中的数据进行分类，包括：

计算所述训练集中数据的熵，将熵作为分类的标志，对数据进行分类。

优选的，对各个分类下的数据进行可逆变换，去除所述训练集中数据的非重要特征，以获取包含重要特征的数据，包括：

定义可逆变换的目标函数，将各个分类下的数据根据特征变换，在变换空间中搜索数据的可逆变换，以去除所述训练集中数据的非重要特征；

由可逆变换的数据构成可逆变换矩阵；所述可逆变换矩阵为包含重要特征的数据。

优选的，获取所述包含重要特征的数据中与特征向量相同的数据，包括：

获取包含重要特征的数据训练集中，各个分类下数据的特征向量；

去除所述包含重要特征的训练集中，各个分类下数据中包含无关特征向量的数据。

优选的，通过输出的包含各个重要特征的数据，构成所述数据对应的特征树，包括：

通过对训练集进行重复多次的训练，获得每个重要特征对应的数据；

将多个重要特征的数据，根据各个数据特征的关系，构建所述数据对应的特征树。

优选的，所述特征树的每个节点的特征用一个与向量x维度相同的向量描述。

优选的，将特征树每个节点的特征，通过与所述节点维度相同的向量进行描述，构建预测函数，使用所述预测函数对待识别的数据进行分析：包括：

将0特征树中不包含1的特征树的部分作为0的判别向量集，将1特征树中不包含0特征树的部分作为1的判别向量集，构建预测函数f(x)；