[发明专利]一种图像处理方法及装置

说明书

本申请实施例提供了一种图像处理方法及装置，其中，本申请实施例不是对整张面部图像进行数据处理，而是从整张面部图像中提取了唇部区域图像，继而基于提取的唇部区域图像进行唇语识别，有效降低了唇语识别中需要处理的数据量，提高了唇语识别的效率。同时，本申请实施例在得到唇部区域之后，提取唇部区域图像的有效时空特征数据，并基于提取得到的有效时空特征数据，进行唇语识别，能够得到准确度更高的唇语内容，提高了唇语识别的精确度。

技术领域

本申请涉及图像处理和模型计算技术领域，具体而言，涉及一种图像处理方法及装置。

背景技术

人工智能技术突飞猛进的发展，给人们的生活带来了很多智能化的服务，唇语识别是人工智能技术中的一种，其捕捉人说话时的嘴部动作，再通过对捕捉得到的嘴部动作进行数据分析和处理，来解读说话人所要表达的内容。唇语识别的应用场景广泛，例如可将唇语识别应用于活体检测、安防等场景中，实现基于唇语识别的活体检测、安防等。其中，唇语识别最直接的应用场景就是，帮助听力或发音障碍者实现与他人的顺畅交流。

现有技术中的唇语识别是基于获取的面部图像进行唇语识别，该唇语识别过程中不仅需要处理大量的数据，识别效率低，并且识别得到的唇语内容偏差较大，精确度不够。

发明内容

有鉴于此，本申请实施例的目的在于提供一种图像处理方法及装置，能够通过提取唇部区域图像，并基于提取的唇部区域图像的有效时空特征数据进行唇语识别，克服了现有技术中唇语识别效率低、精确度差的缺陷。

第一方面，本申请实施例提供了一种图像处理方法，包括：

从多张面部图像中的每张面部图像中，获取唇部区域图像，得到多张唇部区域图像；

提取所述多张唇部区域图像的有效时空特征数据；

基于提取得到的有效时空特征数据，确定所述多张唇部区域图像对应的唇语内容。

在一种可能的实施方式中，所述从多张面部图像中的每张面部图像中，获取唇部区域图像，包括：

针对每张面部图像，获取该面部图像的唇部区域中心点，并基于获取的唇部区域中心点，和图像预定尺寸，从该面部图像中提取所述唇部区域图像。

在一种可能的实施方式中，上述图像处理方法还包括确定所述多张面部图像的步骤：

解析获取的唇语视频，得到多张原始面部图像；

基于所述原始面部图像对应的时间，将所述多张原始面部图像进行排序；

基于所述原始面部图像的数量、所要筛选的面部图像的预定数量、和每张图像在排序得到的序列中的位置，从所述多张原始面部图像筛选得到所述多张面部图像。

在一种可能的实施方式中，所述图像处理方法利用如下公式筛选所述多张面部图像：

Stretch_seq[i]＝orig_seq[round((i×orig_len)/M)]

式中，Stretch_seq[i]表示筛选得到的第i张面部图像，M表示所述预定数量，round表示取整的四舍五入运算，orig_len表示原始面部图像的数量，orig_seq表示所述多张原始面部图像排序序列。

在一种可能的实施方式中，所述提取所述多张唇部区域图像的有效时空特征数据，包括：

提取所述多张唇部区域图像的N组时空特征数据；

基于所述N组时空特征数据对应的时间，将所述N组时空特征数据进行排序；其中，N为正整数；

针对每组时空特征数据，基于该组时空特征数据在排序得到的序列中的位置，和该组时空特征数据，确定该组时空特征数据对应的有效时空特征数据。