[发明专利]一种基于深度图像动态手语语义识别系统及方法

权利要求书

1.一种基于深度图像动态手语语义识别系统，其特征在于，包括：

图像捕获模块，用于捕获操作者的深度图像视频数据并将每一帧深度图像传输给图像分析模块；

图像分析模块，用于处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；

手语分析模块，用于获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；

语义分析模块，用于获得足够表明一组完整的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。

2.根据权利要求1所述的系统，其特征在于，所述图像分析模块具体工作流程如下：

步骤21： 接收图像捕获模块传输过来的深度图像视频数据；

步骤22： 进行人手部矩形框选坐标的识别；

步骤23： 通过循环神经网络进行基于时序信息的跟踪；

步骤24： 通过提取深度图像框选区域为感兴趣区域，并对框选区域深度图像进行手部关节3d坐标提取；

步骤25：将提取的手部关节3d坐标输入到手语分析模块。

3.根据权利要求2所述的系统，其特征在于，所述步骤22具体为：

步骤221： 通过图像发现并提取手部信息；

步骤222： 对视频前后帧图像时序信息进行手部跟踪，根据检测结果确定目标矩形框选区域；

步骤223： 持续跟踪手部，直到跟踪的手部信息消失，并返回步骤221。

4.根据权利要求2所述的系统，其特征在于，所述对框选区域深度图像进行手部关节3d坐标提取，具体为：

步骤241：接收框选后截取的深度图像；

步骤242：将深度图像以图像像素值最高点为基准截取到阈值的所有像素；

步骤243：将深度图像归一化到相同尺寸；

步骤244：以像素最低点的像素值为0，像素最高点的像素值为1，将图像进行归一化操作；

步骤245：将归一化后图像输入基于深度参差网络模型输出手部关节三维坐标；

步骤246：将手部关节三维坐标输出到手语分析模块中。

5.根据权利要求2、3或4所述的系统，其特征在于，所述手语分析模块具体用于将手部的三维坐标进行序列化存储，并通过训练得到的长短期记忆网络模型进行将坐标时序信息转化为手语单词的操作；输入为坐标序列帧，并将可能输出的单词通过独热编码进行重新编码，输出为通过softmax得到的所有概率密度分布，取前五高概率的单词的独热编码及其概率，从而实现从动作上识别操作者可能表达的单词。

6.根据权利要求5所述的系统，其特征在于，所述语义分析模块具体用于输入独热编码组和概率组序列，并通过训练得到的N-gram网络模型进行将单词组序列转化为具体语义的操作。

7.一种基于深度图像动态手语语义识别方法，其特征在于，具体包括以下步骤：

步骤1： 调用图像捕获模块捕获操作者的深度图像视频数据将每一帧深度图像传输给图像分析模块；

步骤2： 调用图像分析模块处理深度图像视频数据，得到手部关节3d坐标并输出给手语分析模块；

步骤3： 重复步骤2，直到获取足够长度的手部关节3d坐标队列，并提取子队列进行分析，获得子队列可能表示的单词，并将所述单词传递给语义分析模块；

步骤4： 重复步骤3，直到获得足够表明一组完整的的单词，并通过语义语境分析，对获取的单词矫正，并组合成完整正确语义的语句或者命令，并通过输出的语句或者命令进行控制操作。

8.根据权利要求7所述的方法，其特征在于，所述步骤3具体为：

步骤31： 将手部关节3d坐标队列输入到长短期记忆网络模型中；

步骤32： 通过所述长短期记忆网络模型得到前五高概率的单词独热编码及其概率；

步骤33： 将独热编码组和概率组输入到语义分析模块中。