[发明专利]一种跨模态唇读的对抗性双重对比自监督学习方法有效
| 申请号： | 202110773180.7 | 申请日： | 2021-07-08 |
| 公开（公告）号： | CN113239903B | 公开（公告）日： | 2021-10-01 |
| 发明（设计）人： | 张雪毅;刘丽;常冲;刘忠;龙云利 | 申请（专利权）人： | 中国人民解放军国防科技大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06N3/08;G10L15/06;G10L15/16;G10L15/25 |
| 代理公司： | 北京风雅颂专利代理有限公司 11403 | 代理人： | 曾志鹏 |
| 地址： | 410003 湖*** | 国省代码： | 湖南;43 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种跨模态唇读的对抗性双重对比自监督学习方法，该方法包括视觉编码器、音频编码器、两个具有平均池的多尺度时间卷积网络、身份鉴别器和模态分类器。该方法通过结合基于视听同步的双对比学习、身份对抗训练和模态对抗训练来学习有效的视觉表示。在双对比学习中，将噪声对比估计作为训练目标，来区分真实样本和噪声样本。在对抗训练中，提出了一个身份鉴别器和一个模态分类器用于视听表示，身份鉴别器用来区分输入的视觉特征是否具有共同的身份，模态分类器是预测输入特征是属于视觉模态还是音频模态，然后利用动量梯度反转层实现对抗性训练。 | ||
| 搜索关键词： | 一种 跨模态唇读 对抗性 双重 对比 监督 学习方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学，未经中国人民解放军国防科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110773180.7/，转载请声明来源钻瓜专利网。
