[发明专利]基于MLE和BIC的随机点模式参数估计方法

说明书

本发明公开了基于MLE和BIC的随机点模式参数估计方法。本发明方法在基于随机点模式模型的框架下，构建多个复杂度不同的随机点模式模型，将对随机点模式模型参数的极大似然估计转化为分别对基数分布参数和特征分布参数的极大似然估计，并且用最大期望算法求取特征分布参数的极大似然估计值，计算每个模型关于训练数据的Bayes信息准则指标，确定备选模型中最优模型。本发明方法提升了模型对点模式数据的信息表达能力，使训练所得的最优模型对观测数据具有良好的拟合能力，并且保障了模型的泛化能力。本发明方法放宽了对于先验信息的要求，减少主观决策对于模型精度的影响。本发明方法有效提高了建模精度和降低了模型参数估计的复杂度。

技术领域

本发明属于模式识别技术领域，具体涉及一种基于极大似然估计(MLE)和贝叶斯信息准则(BIC)的随机点模式参数估计方法。

背景技术

点模式是无序点或者特征的集合形式，在自然界中许多现象都可以用点模式的形式描述，而在许多数据分析问题中，点模式通常被称为包(多示例)，用来描述对象的特征信息，针对点模式的学习问题本质上就是多示例学习问题。多示例学习作为有别于监督学习、无监督学习和强化学习的第4种机器学习框架，发展至今，已有很多实用的多示例学习算法被提出。

目前主要的多示例学习方法大致可以分为三类：(1)基于示例空间的多示例学习算法；(2)基于包空间的多示例学习算法；(3)基于嵌入空间的多示例学习算法。基于示例空间的这类算法的核心是训练一个示例水平的分类器，使之能够区分来自正负示例的包，然后对于新的包，由示例的标签去推断包的标签；基于包空间的这类算法的核心思想是定义一个度量包之间距离的函数，然后把该距离函数嵌入标准的基于距离的分类器,由已知包的标签推断未知包的标签；基于嵌入空间的方法的核心思想是定义一个距离映射函数或者核函数，将每个包映射为一个单一的特征向量，用来描述和对应包相关的整体信息，这样原始的包空间就被映射为一个向量化的嵌入空间，并在这个空间进行分类器训练，把多示例问题转化为标准的监督学习问题。一般用似然函数描述的统计数据模型，是基于模型的数据分析方法的必要前提。但是针对点模式数据的机器学习算法研究中，关于基于统计点模式模型的算法并没有得到足够的关注。

发明内容

本发明的目的就是针对基于模型的点模式数据分类问题，提供一种基于极大似然估计(MLE)和贝叶斯信息准则(BIC)的随机点模式参数估计方法。

本发明方法在基于随机点模式模型的框架下，构建多个复杂度不同的随机点模式模型，将对随机点模式模型参数的极大似然估计转化为分别对基数分布参数和特征分布参数的极大似然估计，并且用最大期望算法(EM)求取特征分布参数的极大似然估计值，进一步计算每个模型关于训练数据的Bayes信息准则(BIC)指标，从而确定备选模型中最优模型。

本发明方法具体是：

步骤(1)构建随机点模式模型：

其中，X_n表示第n个随机点模式的观测数据，n＝1,2,…,N，N为随机点模式的观测数据总个数；ξ表示模型的基数分布参数，表示模型的特征分布参数；p_ξ表示点模式模型的基数分布，|X_n|表示X_n中元素的个数，U为超参数，用于取消各元素间的单位不统一；表示点模式模型的特征分布，x表示X_n中的元素。

步骤(2)构建观测数据集关于点模式模型参数的似然函数：

表示观测数据集X_1:N关于模型参数ξ和的似然函数；

模型基数分布为泊松分布，基数分布参数ξ与泊松系数ρ相等；

模型特征分布为高斯混合分布,α_k、μ_k和∑_k分别表示第k个分布元的混合权重、均值和协方差。

步骤(3)对基数分布参数进行极大似然估计，得到基数分布参数的极大似然估计值