[发明专利]图文转换方法、设备、智能交互方法、设备及系统、客户端、服务器、机器、介质有效
| 申请号： | 201910727056.X | 申请日： | 2019-08-07 |
| 公开（公告）号： | CN110598739B | 公开（公告）日： | 2023-06-23 |
| 发明（设计）人： | 方建生 | 申请（专利权）人： | 广州视源电子科技股份有限公司 |
| 主分类号： | G06V10/74 | 分类号： | G06V10/74;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06Q50/20;G10L13/04;G10L15/26;G10L21/10 |
| 代理公司： | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人： | 王杰辉 |
| 地址： | 510530 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了图文转换方法、设备、智能交互方法、设备、系统、客户端、服务器、机器及介质。该图文转换方法包括：构建样本数据集；使用样本数据集来训练深度学习模型和语言表征模型；在用户输入为图像时，通过深度学习模型提取输入图像的视觉特征，并计算视觉特征相似度，选取相似度最高的图像对应的文本作为该输入图像的对应输出；以及在用户输入为文本时，通过语言表征模型提取语义特征，并计算语义特征相似度，选取相似度最高的文本对应的图像作为该输入文本的对应输出。本发明通过构建专用数据集并采用各种转换模型，向用户提供更丰富、更高效的交互功能，实现真正的深度交互。 | ||
| 搜索关键词： | 图文 转换 方法 设备 智能 交互 系统 客户端 服务器 机器 介质 | ||
【主权项】：
1.一种图文自动转换方法，用于在图像和文本之间进行双向自动转换，其特征在于，该方法包括：/n构建样本数据集，该样本数据集中的每条样本数据均包含图像以及用于描述该图像的文本；/n使用所述样本数据集中的图像来训练用于获得图像的视觉特征的深度学习模型，以及使用所述样本数据集中的文本来训练用于获得文本的语义特征的语言表征模型；以及/n响应于用户的输入：/n在用户的输入为图像的情况下，通过经过训练的深度学习模型来提取输入图像的视觉特征，并计算该视觉特征与样本数据集中的各样本数据内含有的图像的视觉特征之间的相似度，选取视觉特征相似度最高的图像所在的样本数据内含有的文本作为该输入图像的对应输出；以及/n在用户的输入为文本的情况下，通过经过训练的语言表征模型来提取输入文本的语义特征，并计算该语义特征与样本数据集中的各样本数据内含有的文本的语义特征之间的相似度，选取语义特征相似度最高的文本所在的样本数据内含有的图像作为该输入文本的对应输出。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州视源电子科技股份有限公司，未经广州视源电子科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910727056.X/，转载请声明来源钻瓜专利网。
