[发明专利]一种基于张量空间的数据分类方法及其应用

说明书

本发明公开了一种基于张量空间的数据分类方法及其应用，通过基于熵的离散化方法对数据文件进行离散化，计算每个属性的取值范围；对数据集X构建张量；获取测试样本并按照同样方法进行离散化，构建张量；通过对比测试样本张量与训练样本张量进行对比，最终选择匹配属性最多的作为类别判定标准。本发明具有比其他方法明显的优势：(1)具有不变性，张量能为一个物理量或几何量提供在不同坐标系下的统一表述，从而能更加体现事物的本质特征；(2)丰富的特征表达，高阶张量能够表达属性复制的数据集。

技术领域

本发明涉及数据分类领域，尤其是涉及一种基于张量空间的数据分类方法及其应用。

背景技术

由于科技生产力水平的快速发展和遥感技术的探索学习，加上网络的普及，现在的我们可以比原来更容易更方便快捷的丰富数据，同时获取到的数据具有：(1)多样性，数据收集来自于不同的行业不同的领域，描述同一特征可能具有不同的属性；(2)数据具有复杂的属性，所以构成数据的维度也很高。(3)数据量大，随着移动互联网、物联网的普及和应用，我们能够收集到更多的数据，形成了数据量特别巨大的特点。

一般分类的过程：首先在给定数据集中找出一组对象的共同特征，从而建立分类模型，然后利用建立的分类模型进行分类，将待分类数据集映射到其中一个类别上。在分类模型建立过程中，通常把数据集划分成训练样本数据集和测试样本数据集，所有的样本均具有一个已知的类别标识。分类算法通过分析测试样本数据集，建立对应的特征，测试模型的分类准确率，如果得到较高的准确率，则该分类模型可用于将来的数据集进行分类操作。

目前的分类方法主要存在以下不足：无法详细的描述数据的特征，由于数据类别多、数据量大、特征多且维度高，在降维时容易损失重要特征；又如特征信息不能完全描述影像特征，存在许多不相关的特征，浪费了存储空间和计算资源；最近的深度学习虽然已经达到较高的分类准确度，但存在计算性能低、耗时不适合实际生产。

为了解决上述分类方法存在的不足，本发明给出一种基于张量空间的数据分类方法和系统，其优势主要体现在：(1)丰富的特征表达，高阶张量能够表达特征复杂维度高的数据；(2)具有不变性，张量能为一个物理量或几何量提供在不同坐标系下的统一表述，从而能更加体现事物的本质特征。

发明内容

本发明提供了一种基于张量空间的数据分类方法，用以解决上述背景技术中存在的计算性能低、特征维度高、特征表达不全等问题。

为了实现上述目标，本发明一种基于张量空间分类方法的技术方法的具体步骤如下：

Step1、获取待处理的数据集，将所需处理的据集分为训练集和测试集；

Step2、将上述训练集转化为训练数据文件X＝(X₁,X₂,…,X_M),X_i表示数据集中的第i个样本，M是样本的个数，每个样本有N个属性，即属性是用于区分该类别与其他类别的一种特征；

Step3、使用基于熵的离散化方法对数据集X的属性进行离散化处理(该技术是现有技术)，计算每个属性的取值范围D_i＝(Min,Max]，其中Min表示属性取值的最小值，Max表示属性取值的最大值，该取值范围是左开右闭区间；

Step4、针对数据集X不同类别的样本构建张量其中j表示类别，I₁,I₂,…I_N表示样本的阶，1个属性对应1个阶；

Step5、采用Step3和Step4同样的方法构建测试集中测试样本T_test的张量，得到测试样本的张量

Step6、将测试样本张量和训练样本张量进行对比，选择满足属性(匹配属性范围内)最多的作为最后的类别。