[发明专利]基于自审视的多单元反馈网络模型、设备和存储介质

权利要求书

1.一种基于自审视的多单元反馈网络模型，其特征在于，所述模型包括：

整合单元，用于将原始数据X经过干扰所形成的干扰数据X1作为输入；和/或，将新的所述干扰数据X1与最新经过纠错的反馈数据X2进行整合所得到的整合数据X3作为输入；

编码单元，用于将干扰数据X1或整合数据X3进行编码以输出特征Z；

控制器，用于判断是否满足预设条件，以供在不满足时将特征Z输入至自审视单元或在满足时将特征Z输入至解码单元；

自审视单元，用于将输入的特征Z作为输入并对其进行修复处理以形成反馈数据X2，以供依据所述特征Z和输入的干扰数据X1恢复出被干扰的原始数据X；

解码单元，用于对输入的特征Z进行解码并输出结果Y，以供根据编码单元输出结构进行下游任务。

2.根据权利要求1所述的模型，其特征在于，所述编码单元包括：三个残差网络块，每个残差网络块由四层组成；

其中，包括：两层用作学习匹配的过滤器的卷积层、一层用于避免过度拟合训练数据的随机失活层、及一层用于增强网络的拟合能力的线性整流函数激活层；

所述编码单元的第一个残差网络块和第三个残差网络块中分别添加有一最大池化层，以对前一层的输出进行下采样。

3.根据权利要求1所述的模型，其特征在于，所述自审视单元包括：四个卷积层和一上下文注意机制；所述上下文注意机制关注于学习从已知的背景中借用或复制特征信息以优化修复受干扰的部分。

4.根据权利要求1所述的模型，其特征在于，所述解码单元由一个残差网络块和一个全连接线性层组成。

5.根据权利要求1所述的模型，其特征在于，所述模型的损失函数为：L＝{l₁，l₂，l₃}，具体包括：

1)l₂为所述自审视单元的损失函数，其为均方根误差和最小绝对值误差的联合损失函数，具体公式为：

其中，x为原始数据；为干扰数据X1或整合数据X3；λ为均衡系数；

2)l₃为所述自审视单元的损失函数，其为交叉熵损失函数：

l₃为解码单元的损失函数；

其中，C为视频帧对应类别总数，n为数据集数据帧数量，为第i个视频帧对应的类别，log为对数函数，y_i第i个视频帧输出的预测类别；

3)l₁为所述解码单元的损失函数，其为l₂和l₃之和：

其中，β为平衡系数。

6.根据权利要求1所述的模型，其特征在于，所述预设条件为预设指标参数或预设反馈次数。

7.根据权利要求1所述的模型，其特征在于，所述整合包括：替换、相加、及相乘中任意一种或多种组合。

8.根据权利要求1所述的模型，其特征在于，所述下游任务包括：视频传输、图像修复、语音合成、语音识别、及信道均衡中任意一种。

9.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至8中任意一项所述模型的功能。

10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至8中任一项所述模型的功能。