[发明专利]口型评测方法、设备及计算机存储介质

权利要求书

1.一种口型评测方法，其特征在于，包括：

获取目标对象的待评测数据，所述待评测数据包括图像帧序列，所述图像帧序列包括表示目标发音口型的连续的至少一个图像帧；

根据所述图像帧序列确定所述图像帧序列的特征矩阵；

根据所述图像帧序列的特征矩阵与预设模型得到第一评测数据，所述第一评测数据用于指示根据所述预设模型对所述特征矩阵评测的结果；

对所述图像帧序列进行口型评测，获取第二评测数据，所述第二评测数据用于表示所述图像帧中的目标发音口型与所述预设的标准发音口型的相似度；

根据预设的参考音频对音频数据进行评测生成第三评测数据，所述第三评测数据用于表示所述音频数据与所述参考音频的发音相似度；

根据评测数据生成所述目标对象的口型评测信息，所述评测数据包括所述第一评测数据，所述口型评测信息用于表示对所述目标对象的目标发音口型的评测结果；

其中，根据评测数据生成所述目标对象的口型评测信息，包括：

对所述第一评测数据和所述第二评测数据进行加权运算并生成所述口型评测信息，或对所述第一评测数据和所述第三评测数据进行加权运算并生成所述口型评测信息，或对所述第一评测数据、所述第二评测数据、所述第三评测数据进行加权运算并生成所述口型评测信息。

2.根据权利要求1所述的方法，其特征在于，根据所述图像帧序列确定所述图像帧序列的特征矩阵，包括：

在所述图像帧序列包含的图像帧中，确定至少一个嘴部关键点的坐标；

根据所述图像帧序列中所述图像帧的数量、各图像帧中所述嘴部关键点的数量以及所述坐标的维度，按照时间顺序生成所述图像帧序列的特征矩阵，所述图像帧序列的特征矩阵包括所述至少一个嘴部关键点的坐标。

3.根据权利要求2所述的方法，其特征在于，所述预设模型包括标准发音曲线模型；所述根据所述图像帧序列的特征矩阵与预设模型得到第一评测数据，包括：

将所述至少一个嘴部关键点的坐标输入所述标准发音曲线模型，得到所述至少一个嘴部关键点的评分；

根据所述至少一个嘴部关键点的评分得到所述图像帧的口型评分；

对至少一个所述图像帧的口型评分进行归一化处理并生成所述第一评测数据。

4.根据权利要求1所述的方法，其特征在于，所述预设模型包括预设的转置矩阵，根据所述图像帧序列的特征矩阵与预设模型得到第一评测数据，包括：

将所述图像帧序列的特征矩阵与预设的转置矩阵进行点乘得到发音矩阵；

将所述发音矩阵与预设的标准发音矩阵进行对比得到所述第一评测数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述图像帧序列中的至少一个图像帧进行口型识别；

根据识别结果确定所述目标发音口型与预设的标准发音口型的相似度，并生成第二评测数据。

6.根据权利要求5所述的方法，其特征在于，根据识别结果确定所述目标发音口型与预设的标准发音口型的相似度之前，所述方法还包括：

将所述图像帧序列与参考帧序列的帧数对齐，所述参考帧序列为预先设置的表示标准发音口型的帧序列。

7.根据权利要求6所述的方法，其特征在于，将所述图像帧序列与参考帧序列的帧数对齐，包括：

对所述图像帧序列进行降采样或者线性插值，以使得所述图像帧序列与参考帧序列的帧数对齐。

8.根据权利要求1所述的方法，其特征在于，根据预设的参考音频对所述音频数据进行评测生成第三评测数据，包括：

将所述音频数据的起始时刻向前延展第一预设时长，并将所述音频数据的起始时刻向后延展第二预设时长，得到延展后的音频数据；

根据预设的参考音频对所述延展后的音频数据进行评测生成所述第三评测数据。