[发明专利]向量数据处理方法、装置、设备及存储介质

说明书

本申请实施例公开了一种向量数据处理方法、装置、设备及存储介质。该方法包括：接收新增向量数据，并将所述新增向量数据放置于缓存中；若缓存中的新增向量数据满足预设数量，则从所述新增向量数据中抽取训练样本，并根据所述训练样本对分类器进行训练得到目标分类器；基于目标分类器，根据新增向量特征的相似性对所述新增向量数据进行分类；根据分类结果建立特征分类索引，以根据所述特征分类索引进行向量数据检索。上述方案能够针对性地对新增向量数据进行训练，在向量数据持续增长的情况下节省了训练时间，降低了训练复杂度，解决了数据集持续扩大时抽样和训练时间增加问题，提高了处理效率。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种向量数据处理方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展和落地，越来越多以往“不可描述”的数据被通过以特征向量数据的方式进行描述和计算，比如文本、声音、外貌等等，当这些海量的特征数据汇聚在一起时，如何快速准确的找到相同或者相似的数据成为了亟待解决的问题。

当数据集规模持续扩大时，假如不重新对分类器进行训练，则对数据集分类准确度会下降；假如重新分类器进行训练，各计算节点重新抽样和训练的时间将会变得越来越长，数据集变大后，抽样和数据加载的时间将会非线性增长，搜索耗时也会随着总体数据规模的增长而增加。

发明内容

本发明实施例提供一种向量数据处理方法、装置、设备及存储介质，以在向量数据增加时快速对分类器进行训练以及建立索引。

在一个实施例中，本申请实施例提供了一种向量数据处理方法，该方法包括：

接收新增向量数据，并将所述新增向量数据放置于缓存中；

接收新增向量数据，并将所述新增向量数据放置于缓存中；

若缓存中的新增向量数据满足预设数量，则从所述新增向量数据中抽取训练样本，并根据所述训练样本对分类器进行训练得到目标分类器；

基于目标分类器，根据新增向量特征的相似性对所述新增向量数据进行分类；

根据分类结果建立特征分类索引，以根据所述特征分类索引进行向量数据检索。

在另一个实施例中，本申请实施例还提供了一种向量数据处理装置，该装置包括：

接收模块，用于接收新增向量数据，并将所述新增向量数据放置于缓存中；

训练样本抽取模块，用于若缓存中的新增向量数据满足预设数量，则从所述新增向量数据中抽取训练样本，并根据所述训练样本对分类器进行训练得到目标分类器；

分类模块，用于基于目标分类器，根据新增向量特征的相似性对所述新增向量数据进行分类；

特征分类索引建立模块，用于根据分类结果建立特征分类索引，以根据所述特征分类索引进行向量数据检索。

在又一个实施例中，本申请实施例还提供了一种向量数据处理设备，包括：一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例任一项所述的向量数据处理方法。

在再一个实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一项所述的向量数据处理方法。