[发明专利]向量数据处理方法、装置、设备及存储介质在审
申请号: | 202010826189.5 | 申请日: | 2020-08-17 |
公开(公告)号: | CN114077858A | 公开(公告)日: | 2022-02-22 |
发明(设计)人: | 宋炳辉 | 申请(专利权)人: | 浙江宇视科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/901;G06F16/906 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 310051 浙江省杭州市滨江区西兴街道江陵路*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 向量 数据处理 方法 装置 设备 存储 介质 | ||
1.一种向量数据处理方法,其特征在于,所述方法包括:
接收新增向量数据,并将所述新增向量数据放置于缓存中;
若缓存中的新增向量数据满足预设数量,则从所述新增向量数据中抽取训练样本,并根据所述训练样本对分类器进行训练得到目标分类器;
基于目标分类器,根据新增向量特征的相似性对所述新增向量数据进行分类;
根据分类结果建立特征分类索引,以根据所述特征分类索引进行向量数据检索。
2.根据权利要求1所述的方法,其特征在于,若所述新增向量数据为实时向量数据,则接收新增向量数据,并将所述新增向量数据放置于缓存中之后,所述方法还包括:
若目标分类器训练未完成,则采用历史分类器根据向量特征对实时向量数据进行分类,得到临时分类结果;
根据临时分类结果建立临时特征分类索引。
3.根据权利要求1所述的方法,其特征在于,若所述新增向量数据为历史向量数据,则接收新增向量数据,并将所述新增向量数据放置于缓存中之后,所述方法还包括:
若存在历史分类器,则采用历史分类器根据向量特征对历史向量数据进行分类;
根据分类结果建立特征分类索引,以根据所述特征分类索引进行向量数据检索;
若不存在历史分类器,则触发执行若缓存中的新增向量数据满足预设数量,抽取训练样本并向所述训练节点发送,以使训练节点对目标分类器进行训练的步骤。
4.根据权利要求1所述的方法,其特征在于,采用目标分类器对所述新增向量数据进行分类之前,所述方法还包括:
从存储器中获取目标分类器参数;其中,所述目标分类器参数为训练节点在对分类器训练完成后存储于存储器中的;
根据所述目标分类器参数,构建目标分类器。
5.根据权利要求1所述的方法,其特征在于,根据分类结果建立特征分类索引,包括:
从分类得到的向量数据簇中选取代表向量数据;
建立所述代表向量数据与向量数据簇的映射关系,形成特征分类索引。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据新增向量数据的属性,建立新增向量数据的属性分类索引;其中所述属性包括新增向量数据的接收时间和/或存储空间;
相应地,根据分类结果建立特征分类索引之后,所述方法还包括:
将所述属性分类索引作为一级索引,将所述特征分类索引添加至属性分类索引中作为二级索引,构建目标分类索引,以根据所述目标分类索引进行向量数据检索。
7.根据权利要求1所述的方法,其特征在于,根据分类结果建立特征分类索引之后,所述方法还包括:
将所述特征分类索引以及所述新增数据存储于内存中,并对所述缓存进行清理。
8.根据权利要求1-7任一项所述的方法,其特征在于,新增向量数据的分类和检索过程由计算节点执行,分类器的训练过程由训练节点执行。
9.一种向量数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收新增向量数据,并将所述新增向量数据放置于缓存中;
训练样本抽取模块,用于若缓存中的新增向量数据满足预设数量,则从所述新增向量数据中抽取训练样本,并根据所述训练样本对分类器进行训练得到目标分类器;
分类模块,用于基于目标分类器,根据新增向量特征的相似性对所述新增向量数据进行分类;
特征分类索引建立模块,用于根据分类结果建立特征分类索引,以根据所述特征分类索引进行向量数据检索。
10.一种向量数据处理设备,其特征在于,所述向量数据处理设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一项所述的向量数据处理方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的向量数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江宇视科技有限公司,未经浙江宇视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010826189.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种水泥浆组合物
- 下一篇:一种位置检测方法和系统