[发明专利]一种描述特征定义域的度量指标、拟合模型及其训练方法

说明书

本发明的目标是在机器学习任务中根据训练样本描绘出目标问题的特征定义域。本发明设计了一种特征定义域的度量指标、一种拟合这种度量指标的模型和一种训练这种拟合模型的方法。本发明利用了一类可微模型处处趋向平滑的特性，把这种模型在多维空间中的曲面与相切球面之间的几何关系转化为度量指标的损失，把这种损失看成一种信息熵，通过信息熵公式的逆向运算最终获得期望的度量指标。本发明使用微分几何的方法，设计了这种模型在训练过程中如何施加各类约束、如何选择相关的损失函数以及如何设置各个损失函数的加权系数。本发明中设计的方法不需要训练样本的标注信息，能够很好地处理稀疏分布的样本，同时又能够对稠密分布的样本进行归纳学习。

技术领域

本发明涉及G06N20/00 机器学习。

背景技术

机器学习（Machine Learning, ML）方法在各类学科的研究与应用中发挥着日益重要的作用，以人工神经网络（Artificial Neural Networks, ANN）为杰出代表的监督学习（Supervised Learning）方法已经展示出了强大的能力。监督学习模型的种类繁多，简单的如：k-最近邻（k-Nearest Neighbors, kNN）、线性回归（Linear Regression）等等，复杂的如：支持向量机（Support Vector Machine, SVM）、随机森林（Random Forest）、深度神经网络（Deep Neural Networks, DNN）等等。

现有的监督学习方法在运用时，都需要假设训练样本（training sample）能够满足以下前提条件：

1. 充分采样：假设训练样本已经充分覆盖整个特征空间（feature space），或已经充分覆盖目标问题的明确定义域；

2. 归纳学习：如果任务目标需要涉及未采样的区域（unsampled area），则假设可以对已采样的区域（sampled area）进行归纳学习（inductive learning），即：运用模型的特性，拟合（fit）出一定的统计规律，以此对未采样的区域进行估计（estimation）。

很多研究与应用领域都基本能够满足上述前提条件，因此在这些领域中运用监督学习方法能够获得基本可靠的模型。然而，如果因某些条件限制，训练样本的采样非常不充分，将导致训练样本在特征空间中呈稀疏分布（sparse distribution），从而使归纳学习变得不再可靠。其中，采样非常不充分的情况举例如下：

1. 观测条件限制：如果目标问题的可观测点全都位于特征空间的低维流形上，则无法对低维流形之外的区域进行采样。例如：手写数字图片识别问题中，虽然训练图像都具有明显的规律，但是无法定量给出明确的特征定义域，并且特征空间中有大量无法观测到的点，这些点对于目标问题而言很可能也是不合法的点；

2. 采样成本过高：如果目标问题的特征空间是高维空间，则组合爆炸（combinationexplosion）现象使得充分采样的成本变得极其昂贵。这类问题在深度学习的工程应用中普遍存在。

目前机器学习领域已经发展出了一些对样本进行降维的方法，如：主成分分析（Principal Component Analysis, PCA）、自编码器（Autoencoder）等等，但这些方法仍然是在训练样本上进行归纳学习。

不幸的是，面对采样非常不充分的任务，现有的监督学习方法只能使用稀疏的样本进行拟合，也只能给出一个看似最优的模型。当把这个模型用于推理（inference）时，对于一个测试点（test point），只能直接用模型计算出一个答案，而不能回答“模型在这个点上是否可靠”的问题。通俗地讲，现有的监督学习方法“不知道自己不知道”。另外，拓扑学习可以用于描述流形的结构，但是依然无法回答这个问题。

因此，需要设计一种方法，用于根据训练样本拟合出目标问题的特征定义域。