[发明专利]基于质量评价的目标识别方法有效
申请号: | 201810487252.X | 申请日: | 2018-05-21 |
公开(公告)号: | CN108765394B | 公开(公告)日: | 2021-02-05 |
发明(设计)人: | 徐奕;倪冰冰;刘桂荣 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G06T7/00 | 分类号: | G06T7/00 |
代理公司: | 上海恒慧知识产权代理事务所(特殊普通合伙) 31317 | 代理人: | 徐红银 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 质量 评价 目标 识别 方法 | ||
1.一种基于质量评价的目标识别方法,其特征在于,包括:
构建目标识别模型,所述目标识别模型包括:质量评价网络、特征提取网络、特征聚合网络,其中,所述目标识别模型用于从视频中提取出有效目标特征,以表征目标的整体结构信息和局部信息;
对所述目标识别模型进行训练,在训练过程中调整质量评价网络和特征提取网络的参数,以使所述目标识别模型输出符合预设要求的目标特征;
通过训练好的目标识别模型对视频进行目标识别;
所述构建目标识别模型,包括:
获取已知质量标准的图像数据,并通过所述图像数据对质量评价网络进行训练,得到经过训练的质量评价网络;
通过特征提取网络提取单帧图像特征,以得到目标的局部特征;并根据提取到的目标的上下文信息的特征形成全局特征;具体的,使用GoogleNet网络作为特征提取器,提取单帧图像特征以得到目标的局部特征,使用双向长短期记忆网络LSTM提取目标的上下文信息的特征形成全局特征;
通过经过训练的质量评价网络对目标的局部特征、全局特征进行质量评价,以得到相应的质量分数;
根据局部特征、全局特征的质量分数,通过特征聚合网络对目标的各帧局部和全局特征分别进行聚合,并将目标的局部特征和全局特征进行聚合;
通过经过训练的质量评价网络、特征提取网络、特征聚合网络构建所述构建目标识别模型;
所述质量评价网络包括:AlexNet特征提取器和双向长短期记忆网络LSTM,其中,所述AlexNet特征提取器用于对目标的单帧图像特征并由其生成对局部特征的质量评价,所述双向长短期记忆网络LSTM用于对全局特征进行质量评价。
2.根据权利要求1所述的基于质量评价的目标识别方法,其特征在于,所述获取已知质量标准的图像数据,包括:
从已知质量标准的数据库中获取来自不同角度、不同位置的两个摄像头的第一视频和第二视频,所述第一视频和第二视频中均包含有目标;
从第一视频中选取N个帧数大于21帧的第一视频样本,从第二视频中选取N个帧数大于21帧的第二视频样本;其中,N为大于等于2的自然数;
从所述第一视频样本和第二视频样本中选取训练集和测试集,所述训练集用于训练质量评价网络,所述测试集用于测试质量评价网络。
3.根据权利要求1所述的基于质量评价的目标识别方法,其特征在于,所述获取已知质量标准的图像数据,包括:
将包含目标的视频作为人脸识别系统的输入,并将所述人脸识别系统的输出结果作为已知质量标准的数据图像;其中,人脸识别系统的最后一层均为softmax层,将具有身份i的人识别为身份i的概率作为质量标签;
假设训练集由m个已标记的样本构成:{(x1,y1),…,(xm,ym)},则样本i为j类别的概率为:
通过对各类的概率分布进行归一化,使得所有概率之和为1,将i=j时的概率作为图像的质量标准,所述质量标准为
式中:(x1,y1)表示标号为1的样本,(xm,ym)表示标号为m的样本,xi表示第i个样本的特征表示,i的取值范围为1~m,表示实数空间,n的取值为softmax层之前的全连接层的输出维度,yi表示第i个样本的标签,表示样本i为j类别的概率,表示第i个样本经过softmax层后第j个神经元的原始输出,表示第i个样本经过softmax层后第k个神经元的原始输出,N表示类别数,k表示计数变量。
4.根据权利要求1所述的基于质量评价的目标识别方法,其特征在于,所述提取单帧图像特征和目标的局部特征,包括:
通过GoogleNet网络选取inception_5b层的特征;
将图像的大小缩放成224×224输入到图像输入层中,并经过5个Iception的网络结构后选取inception_5b层的输出作为单帧图像特征,其中,所述Inception结构是指将1x1,3x3,5x5的卷积层和3x3的pooling层并行执行,并最终将并行输出作为一个Inception的结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810487252.X/1.html,转载请声明来源钻瓜专利网。