[发明专利]一种视频状态确定方法和装置

说明书

本申请提供了一种视频状态确定方法，该方法包括：基于当前时刻的输入对象和上一个时刻的输入对象的最终状态，确定当前时刻的输入对象的光流变化量；对基于所确定的所述光流变化量，对所述上一个时刻的和所述上一个时刻的输入对象的最终状态进行扭曲处理，得到扭曲处理结果；基于所述扭曲处理结果，以及、所述当前时刻的输入对象和以及所述上一个时刻的输入对象的最终状态，得到确定所述当前时刻的输入对象的最终状态。

技术领域

本申请涉及数据分析技术领域，具体而言，涉及一种视频状态确定方法和装。

背景技术

目前，在大部分视频序列中的状态预测任务中，现有的卷积门循环神经网络(ConvolutionalGated recurrent units，ConvGRU)中的输入到状态(input-to-state)和状态到状态(state-to-state)的迁移变化中使用的卷积结构比普通门循环神经网络使用的全连接结构能更好地捕捉时空关系，但是，ConvGRU限制了状态到状态迁移变化中的递归连接结构，由于ConvGRU使用相同的卷积核，因此，ConvGRU在不同的时刻，其特征图(feature map)的每个位置拥有完全相同的局部连接结构，而在视频序列预测中的状态预测任务中，根据位置不变(location-invariant)的属性没有体现视频序列中视频帧的变化。

发明内容

有鉴于此，本申请的目的在于提供一种视频状态确定方法和装置，能够减少计算，准确预测视频状态。

第一方面，本申请实施例提供了一种视频状态确定方法，该方法包括：

基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量；

基于所确定的所述光流变化量，对所述上一个时刻的状态进行扭曲处理，得到扭曲处理结果；

基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态。

可选地，基于所述扭曲处理结果、所述当前时刻的输入对象以及所述上一个时刻的状态，确定所述当前时刻的状态，包括：

基于所述当前时刻的输入对象、所述扭曲处理结果，以及预设的卷积核和预设的第一激活函数，确定当前时刻的更新值和重置值；

基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态；

基于所述当前时刻的候选状态、所述上一个时刻的状态以及所述更新值，确定所述当前时刻的状态。

可选地，所述卷积核为基于更新门函数或重置门函数确定的。

可选地，基于所述当前时刻的输入对象、所述扭曲处理结果、所述重置值和预设的第二激活函数，确定当前时刻的候选状态，包括：

基于表征候选状态函数的卷积核和所述当前时刻的输入对象，确定候选对象卷积结果；

基于所述表征候选状态函数的卷积核和所述扭曲处理结果，确定候选状态卷积结果；

将所述候选对象卷积结果、所述重置值和所述候选状态卷积结果输入所述第二激活函数，得到所述当前时刻的候选状态。

可选地，所述基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量，包括：

将所述当前时刻的输入对象和所述上一个时刻的状态输入到预设的光流网络模型，得到当前时刻的第一预设方向的光流变化量和在第二预设方向的光流变化量。

第二方面，本申请实施例提供了一种视频状态确定装置，该装置包括：

第一确定模块，用于基于当前时刻的输入对象和上一个时刻的状态，确定当前时刻的光流变化量；