[发明专利]高维特征的处理方法、装置、设备及计算机可读存储介质

说明书

本发明提供一种高维特征的处理方法、装置、设备及计算机可读存储介质，方法包括合成超链图构造过程和合成超链图搜索过程；合成超链图搜索过程包括索引图层搜索阶段和全量图层搜索阶段。装置包括接收单元、合成超链图构造单元、合成超链图搜索单元和输出单元；合成超链图构造单元包括索引图层构造模块、全量图层构造模块和合成超链图插入模块；合成超链图搜索单元包括索引图层搜索模块和全量图层搜索模块。本发明的技术方案搜索过程从索引图层的上层往下不断切换，直到在全量图层完成数据搜索任务，大幅降低了搜索索引图层中近似近邻点的计算量，在各层中往下不断逼近最近邻点。

技术领域

本发明涉及图像处理领域，具体涉及一种高维特征的处理方法、装置、设备及计算机可读存储介质。

背景技术

深度学习已经在许多领域得到深入的应用，例如在人脸识别相关的应用场景中，监控系统采集实时视频或图像，再经过人脸识别系统提取的人脸高维特征的数量级极大，例如每年多达几十亿。在人脸图像特征库中进行相似度的搜索是最重要的功能需求。目前人脸特征库进行海量图像特征的搜索效果极差，由于海量人脸特征在高维空间中的分布特点难以估计，故无法在完成秒级查询的同时达到很高的召回率。

对于海量的十亿级或者百亿级高维特征(例如512维及以上)的相似度搜索不可能使用暴力方法比对计算每一个特征向量的相似度，暴力比对搜索消耗的时间和空间难以承受。

目前的搜索方法将人脸这种空间分布情况比较复杂的特征向量进行子空间切分以后，各个子空间中特征数目差别很大，相交子空间边缘特征向量的子空间划分往往不合理；另外，从算法逻辑上也不能够保证相似性搜索的应搜尽搜，存在死角的可能性。

发明内容

本发明提供一种高维特征的处理方法，其包括合成超链图构造过程和合成超链图搜索过程。

合成超链图构造过程包括：依次对所有的特征向量点，通过预设赋值方案确定当前特征向量点的插入图层并利用当前特征向量点参与构造M个索引图层；利用所有特征向量点参与构造全量图层；其中，M个索引图层为第M索引图层、第M-1索引图层…第1索引图层；当预设赋值方案进行操作得到结果值为T，则所确定的当前特征向量点的插入图层为第T索引图层、第T-1索引图层…第1索引图层。

合成超链图搜索过程包括：索引图层搜索阶段：依次从第M索引图层至第1索引图层，将目标特征向量点插入当前索引图层并进行索引图层筛选操作，直至该层中目标特征向量点与其最近邻点的距离不再缩小，再在下一索引图层进行索引图层筛选操作；全量图层搜索阶段：将目标特征向量点插入全量图层并进行全量图层筛选操作，直至目标特征向量点与其最近邻点的距离不再缩小；其中，M为预设的大于等于1的整数，T为大于等于1且小于等于M的整数。

在一种改进的方案中，预设赋值方案为公式floor(-ln(uniform(0,1))×M)；其中，floor()表示向下取整，ln()表示取对数，uniform(0,1)表示在0到1的均匀分布数值中随机取出一个实数。

在一种改进的方案中，利用当前特征向量点参与构造M个索引图层的过程中，第t索引图层的构造方式为：将当前特征向量点插入第t索引图层，将已插入的特征向量点按照由近至远的顺序与当前特征向量点进行连线，且与当前特征向量点进行连线的点的个数以m为限；其中，t为大于等于1且小于等于T的整数，m为大于等于1的整数。

在一种改进的方案中，利用当前特征向量点参与构造全量图层的过程中，将当前特征向量点插入全量图层，将已插入的特征向量点按照由近至远的顺序与当前特征向量点进行连线，且与当前特征向量点进行连线的点的个数以m为限；从当前特征向量点所连接的点中查找出当前特征向量点的最近邻点，将当前特征向量点到该最近邻点的距离与距离阈值做比较；若判断当前特征向量点到该最近邻点的距离小于等于距离阈值，则将当前特征向量点归入到该最近邻点所在的子图中；若判断当前特征向量点到该最近邻点的距离大于距离阈值，则以当前特征向量点为基准开设一个新的子图；其中，m为大于等于1的整数。