[发明专利]一种视频信息处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种视频信息处理方法，包括：获取目标用户的历史视频对应的视频图像；基于所述视频图像，通过视频信息处理模型中的视频编码器网络确定历史视频特征向量；通过视频信息处理模型中的条件变分自编码器网络，根据所述历史视频特征向量确定与所述历史视频对应的隐变量；基于所述历史视频对应的隐变量，通过所述视频信息处理模型中的回复解码器网络确定与所述视频图像对应的文本信息，本发明还提供了信息处理装置、电子设备及存储介质。本发明能够实现通过输出文本信息作为所述目标用户实时视频流信息对应的回复文本，有效提升视频信息播放中回复文本的丰富程度，扩大了视频信息内容的回复场景，提升回复的前瞻性，提升用户的使用体验。

技术领域

本发明涉及视频信息处理技术，尤其涉及视频信息处理方法、装置、电子设备及存储介质。

背景技术

相关技术中，视频信息向量化表示是很多机器学习算法的基础，如何能基于视频信息准确进行向量表示是该方向的研究重点。相关技术大多相对比较片面，没有结构化地对视频进行表示学习。相关技术可以在实现针对不同模态的回复或评论生成时，可以根据用户输入的文本生成一段回复文本，或者根据一篇新闻文章，生成内容相关的新闻评论，但是不能够实现生成对直播视频的评论文本。

发明内容

有鉴于此，本发明实施例提供一种视频信息处理方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：

本发明实施例通提供了一种视频信息处理方法，所述方法包括：

获取目标用户的历史视频对应的视频图像；

基于所述视频图像，通过视频信息处理模型中的视频编码器网络确定历史视频特征向量；

通过所述视频信息处理模型中的条件变分自编码器网络，根据所述历史视频特征向量确定与所述历史视频对应的隐变量；

基于所述历史视频对应的隐变量，通过所述视频信息处理模型中的回复解码器网络确定与所述视频图像对应的文本信息，以实现通过输出所述文本信息作为所述目标用户实时视频流信息对应的回复文本。

上述方案中，基于所述视频图像对应的观众回复信息，通过所述视频信息处理模型中的回复编码器网络确定回复文本特征向量，包括：

确定与所述视频信息处理模型的使用环境相匹配的固定噪声阈值；

根据所述固定噪声阈值对所述视频图像对应的观众回复信息进行去噪处理，并触发与所述固定噪声阈值相匹配的动态分词策略；

根据与所述动态噪声阈值相匹配的动态分词策略，对所述观众回复信息进行分词处理；

通过所述回复编码器网络中的循环卷积神经子网络，对经过分词处理的所述观众回复信息进行词嵌入处理，形成相应的回复文本特征向量。

本发明实施例还提供了一种视频信息处理装置，所述装置包括：

信息传输模块，用于获取目标用户的历史视频对应的视频图像；

信息处理模块，用于基于所述视频图像，通过视频信息处理模型中的视频编码器网络确定历史视频特征向量；

所述信息处理模块，用于通过所述视频信息处理模型中的条件变分自编码器网络，根据所述历史视频特征向量确定与所述历史视频对应的隐变量；

所述信息处理模块，用于基于所述历史视频对应的隐变量，通过所述视频信息处理模型中的回复解码器网络确定与所述视频图像对应的文本信息，以实现通过输出所述文本信息作为所述目标用户实时视频流信息对应的回复文本。

上述方案中，

所述信息处理模块，用于当所述目标用户的类型为第一类型时，确定所述目标用户的历史视频中互动次数最多的历史视频；