[发明专利]一种数字视网膜多模态特征联合精准检索方法

权利要求书

1.一种数字视网膜多模态特征联合精准检索方法，包括下列步骤：

步骤1、组建大数据平台网，包含生产集群和测试集群，采用至少两台核心交换机，

对于生产集群，汇聚交换机下面成对挂接业务接入交换机的万兆光接口、带外管理接入交换机的千兆接口，其中万兆用于走业务数据，而千兆用于走带外管理数据；对于测试集群，汇聚交换机下挂接单台业务接入交换机的千兆接口；业务网络均采用10GE以上网卡。

步骤2、集群及各个组件搭建完成后，首先格式化整个集群中HDFS文件系统所在的系统存储空间，然后启动集群；

步骤3、启动Hadoop之后，接着启动ZooKeeper组件，最后启动HBase组件，启动Flink组件；

步骤4、采集数据：获取目标车辆图像中的车身区域，接着从车身区域中提取目标车辆图像的特征信息，特征信息包括目标车辆图像的特征点以及特征点的尺度、主方向和相对位置；然后根据目标车辆图像的特征信息查询特征数据库中存储的样本图像的特征点以及样本图像的特征点的尺度、主方向和相对位置，确定与目标车辆图像相似的图像；

步骤5、清洗数据：

步骤6、数据分布式云存储：非结构化数据存入HDFS中，结构化数据存入Hbase中。

步骤7、准备输入图片：选择搜索图片包括如下几种方式：

(1)本地文件导入目标车辆图像；

(2)含有目标的图片→目标车辆图像抓取；

(3)本地视频：视频流→含有目标的图片→目标车辆图像抓取；

(4)摄像头实时视频流：视频流→含有目标的图片→目标车辆图像抓取；

(5)特征库查询导入：语义搜索→目标车辆图像列表→选取目标的多角度车辆图像；

步骤8、多模态特征联合精准检索：

本发明首先采用传统方法提取图像特征方式对图像数据库进行“粗检索”，然后基于改进的V-I深度网络模型上进行实现“精检索”；

步骤9、筛查搜索结果：预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；车辆图像之间的相似度计算主要用于图像之间依据其属性或者特征的相近程度进行打分，并且根据分数的高低来判断图像整体内容的近似程度；

步骤10、对目标车辆进行布控：

如果不是需要的车辆图片，可以分语义或者已搜索的图片进行二次检索、三次检索或者更多次，直至找到布控需要的图片；

步骤11、对目标车辆进行告警；

步骤12、对目标车辆轨迹回放。