[发明专利]一种图像处理方法及装置

权利要求书

1.一种图像处理方法，其特征在于，包括：

从多张面部图像中的每张面部图像中，获取唇部区域图像，得到多张唇部区域图像；

提取所述多张唇部区域图像的有效时空特征数据；

基于提取得到的有效时空特征数据，确定所述多张唇部区域图像对应的唇语内容。

2.根据权利要求1所述的方法，其特征在于，所述从多张面部图像中的每张面部图像中，获取唇部区域图像，包括：

针对每张面部图像，获取该面部图像的唇部区域中心点，并基于获取的唇部区域中心点，和图像预定尺寸，从该面部图像中提取所述唇部区域图像。

3.根据权利要求1所述的方法，其特征在于，还包括确定所述多张面部图像的步骤：

解析获取的唇语视频，得到多张原始面部图像；

基于所述原始面部图像对应的时间，将所述多张原始面部图像进行排序；

基于所述原始面部图像的数量、所要筛选的面部图像的预定数量、和每张原始面部图像在排序得到的序列中的位置，从所述多张原始面部图像筛选得到所述多张面部图像。

4.根据权利要求3所述的方法，其特征在于，所述方法利用如下公式筛选所述多张面部图像：

Stretch_seq[i]＝orig_seq[round((i×orig_len)/M)]

式中，Stretch_seq[i]表示筛选得到的第i张面部图像，M表示所述预定数量，round表示取整的四舍五入运算，orig_len表示原始面部图像的数量，orig_seq表示所述多张原始面部图像的排序序列。

5.根据权利要求1所述的方法，其特征在于，所述提取所述多张唇部区域图像的有效时空特征数据，包括：

提取所述多张唇部区域图像的N组时空特征数据；

基于所述N组时空特征数据对应的时间，将所述N组时空特征数据进行排序；其中，N为正整数；

针对每组时空特征数据，基于该组时空特征数据在排序得到的序列中的位置，和该组时空特征数据，确定该组时空特征数据对应的有效时空特征数据。

6.根据权利要求5所述的方法，其特征在于，所述基于该组时空特征数据在排序得到的序列中的位置，和该组时空特征数据，确定该组时空特征数据对应的有效时空特征数据，包括：

在该组时空特征数据位于排序序列的第一个位置的情况下，基于该组时空特征数据，确定该组时空特征数据对应的有效时空特征数据；

在该组时空特征数据未位于排序序列的第一个位置的情况下，基于该组时空特征数据，和该组时空特征数据的前一组时空特征数据对应的有效时空特征数据，确定该组时空特征数据对应的有效时空特征数据。

7.根据权利要求6所述的方法，其特征在于，所述基于该组时空特征数据在排序得到的序列中的位置，和该组时空特征数据，确定该组时空特征数据对应的有效时空特征数据，还包括：

在该组时空特征数据位于排序序列的最后一个位置的情况下，基于该组时空特征数据，确定该组时空特征数据对应的有效时空特征数据的中间值；

在该组时空特征数据未位于排序序列的最后一个位置的情况下，基于该组时空特征数据，和该组时空特征数据的后一组时空特征数据对应的有效时空特征数据的中间值，确定该组时空特征数据对应的有效时空特征数据的中间值；

基于该组时空特征数据对应的有效时空特征数据，和该组时空特征数据对应的有效时空特征数据的中间值，确定该组时空特征数据对应的最终的有效时空特征数据。

8.根据权利要求5所述的方法，其特征在于，所述提取所述多张唇部区域图像的N组时空特征数据，包括：

提取所述多张唇部区域图像的N组初始时空特征数据；

针对每组初始时空特征数据，基于与该组初始时空特征数据匹配的权重，确定该组初始时空特征数据对应的加权时空特征数据；

基于N组加权时空特征数据，确定N组时空特征数据。