[发明专利]基于不相似度与拉普拉斯正则化下的稀疏子集选择方法

说明书

技术领域

本申请涉及机器学习与数据分析领域，其尤其指一种基于不相似度与拉普拉斯正则化下的稀疏子集选择方法。

背景技术

稀疏子集的选择：发现大量模型或数据点的子集，其保留了整个集合的特征，是计算机视觉应用中的机器学习和数据分析中的一个重要问题，其在图像和自然语言处理，生物/健康信息学，推荐系统等方面有大量应用。这些信息要素被称为代表元或示范。数据代表有助于总结和可视化文本/Web文档，图像和视频的数据集，因此增加数据分析师和领域专家的大规模数据集的可解释性。模型代表帮助有效地描述使用少量模型的复杂现象或事件，或者可以用于集合模型中的模型压缩。更重要的是，学习和推理算法(如最近邻(NN))分类器的计算时间和内存要求通过处理包含原始集合的大部分信息的代表来改进。选择一小部分产品推荐给客户不仅可以提高零售商的收入，还可以节省客户时间。此外，代表元有助于数据集的聚类，并且作为最原始的元素，可用于有效地合成/生成新的数据点。最后同样重要的，可以使用代表来获取高性能分类器，使用非常少的样本从大量未标记的样本中选择和注释。

不相似度：不相似度是一种数据之间成对的对应关系，它有许多优点：第一，对于高维数据集，其中环境空间维度远高于数据集的基数，处理成对关系比在高维度测量向量上工作更有效。第二，虽然一些实际数据集不存在于向量空间中，例如社交网络数据或蛋白质组学数据中，但成对关系已经可以对其进行有效地计算。

拉普拉斯正则化：低秩方法捕获潜在的低维-RANK表示(LRR)，作为有前途的数据结构，已经引起了模式分析和信号处理社区的极大兴趣。具体来说，近年来涉及低阶矩阵估计的问题引起了相当大的关注。LRR已广泛应用于子空间分割，图像去除，图像聚类和视频背景/前景分离。LRR中的低等级规范者与最近对鲁棒主成分分析(RPCA)的理论进展有着深刻的联系，这为许多应用程序带来了新的强大的建模选项。

发明内容

本发明的目的通过下述技术方案实现：

假设我们有一个源集X＝{x₁,...,x_M}和一个目标集Y＝{y₁,...,y_N}，他们分别含有M和N个元素，假设我们得到了X与Y之间的不相似度关系d_ij表示x_i代表y_j的好坏程度，它的值越小表示x_i越能更好的代表y_j。将这种二元关系写成如下的矩阵形式

我们的目的是找到X的一个较小的子集使得它能够很好的代表目标集Y，如图1所示，其中图1左侧：源集X与目标集Y之间的不相似度关系；右侧：找出了源集X的一个子集，这个子集能够很好的代表目标集Y所拥有的特征

给予一个不相似度矩阵D，我们需要找到源集X的一个代表子集，即代表元，使得它能够有效的代表目标集Y。为此，我们考虑关于与不相似度d_ij相关联的未知变量z_ij的优化关系。我们用如下矩阵代表这些未知变量

我们用变量z_ij表示x_i是否代表y_j，当z_ij取0时表示x_i代表y_j，反之则不代表。为了保证每一个y_j都有相应的代表元，我们规定

基于不相似度选择一个很好地编码Y的X元素需要达到以下三个目标，第一，我们需要代表元能够足够好的代表y_j，如果x_i被选为代表元，则编码y_j的花费为d_ijz_ij∈{0，d_ij}，则通过X的子集代表Y的花费为第二，我们希望能够选择尽可能少的代表元来代表目标集Y，这个目标等同于矩阵Z含有较少非零行。第三，我们希望所得到的代表元能够有比较好的结构，即代表元之间的“距离”能够尽可能的远。

将这三个目标集合起来，我们得到以下优化函数

其中||-||_p代表l_p范数，I(-)代表指示函数。此目标函数中的第一项代表编码的质量，第二项表示代表元的个数，第三项表示代表元的结构。

由于其中包含二元结构z_ij∈{0，1}，所以此问题是一个非凸问题，即NP-hard,所以我们考虑以下凸松弛问题：