[发明专利]口型评测方法、设备及计算机存储介质

说明书

本申请实施例提供一种口型评测方法、设备及计算机存储介质，口型评测方法包括：获取目标对象的待评测数据，待评测数据包括图像帧序列，图像帧序列包括表示目标发音口型的连续的至少一个图像帧；根据图像帧序列确定图像帧序列的特征矩阵；根据图像帧序列的特征矩阵与预设模型得到第一评测数据，第一评测数据用于指示根据预设模型对特征矩阵评测的结果；根据评测数据生成目标对象的口型评测信息，评测数据包括第一评测数据，口型评测信息用于表示对目标对象的目标发音口型的评测结果。能够评测发音口型是否准确，以及发音口型具体的准确性。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种口型评测方法、设备及计算机存储介质。

背景技术

人工智能技术广泛应用于生活中的各个领域，在一些应用场景中，例如，在语言教学领域，可以采用人工智能技术对学生发音进行评测；又如，在声乐教学楼领域，可以采用人工智能技术对学生唱歌发音进行评测。当然，此处只是举例说明。但是，则语音评测过程中，利用音频进行评测，只能确保连续的发音是大致相似的，无法精确评估发音的口型的准确性。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种口型评测方法、设备及计算机存储介质，用以克服现有技术中无法精确评估发音口型的准确性。

本申请实施例提供一种口型评测方法，其包括：

获取目标对象的待评测数据，待评测数据包括图像帧序列，图像帧序列包括表示目标发音口型的连续的至少一个图像帧；

根据图像帧序列确定图像帧序列的特征矩阵；

根据图像帧序列的特征矩阵与预设模型得到第一评测数据，第一评测数据用于指示根据预设模型对特征矩阵评测的结果；

根据评测数据生成目标对象的口型评测信息，评测数据包括第一评测数据，口型评测信息用于表示对目标对象的目标发音口型的评测结果。

可选地，在本申请的一种实施例中，根据图像帧序列确定图像帧序列的特征矩阵，包括：

在图像帧序列包含的图像帧中，确定至少一个嘴部关键点的坐标；

根据图像帧序列中图像帧的数量、各图像帧中嘴部关键点的数量以及坐标的维度，按照时间顺序生成图像帧序列的特征矩阵，图像帧序列的特征矩阵包括至少一个嘴部关键点的坐标。

可选地，在本申请的一种实施例中，预设模型包括标准发音曲线模型；根据图像帧序列的特征矩阵与预设模型得到第一评测数据，包括：

将至少一个嘴部关键点的坐标输入标准发音曲线模型，得到至少一个嘴部关键点的评分；根据至少一个嘴部关键点的评分得到图像帧的口型评分；对至少一个图像帧的口型评分进行归一化处理并生成第一评测数据。

可选地，在本申请的一种实施例中，预设模型包括预设的转置矩阵，根据图像帧序列的特征矩阵与预设模型得到第一评测数据，包括：

将图像帧序列的特征矩阵与预设的转置矩阵进行点乘得到发音矩阵；

将发音矩阵与预设的标准发音矩阵进行对比得到第一评测数据。

可选地，在本申请的一种实施例中，该方法还包括：

对图像帧序列进行口型评测，获取第二评测数据，第二评测数据用于表示图像帧中的目标发音口型与预设的标准发音口型的相似度；

根据评测数据生成目标对象的口型评测信息，包括：

对第一评测数据和第二评测数据进行加权运算并生成口型评测信息，评测数据包括第一评测数据和第二评测数据。

可选地，在本申请的一种实施例中，该方法还包括：

对图像帧序列中的至少一个图像帧进行口型识别；