[发明专利]一种基于人工智能的多模感知麻将辅助方法

权利要求书

1.一种麻将牌图像识别模型训练方法，其特征在于，包括以下步骤：

S1：收集真实场景下的麻将牌牌面图片并进行标注，得到真实的训练数据；

S2：利用计算机变换多种包括角度、亮度和大小在内的不同场景对麻将牌图片和背景图片进行合成并进行标注，得到合成的训练数据；

S3：利用由所述真实的训练数据和所述合成的训练数据组成的总训练数据进行深度学习训练，得到麻将牌图像识别模型。

2.根据权利要求1所述的方法，其特征在于，所述收集真实场景下的麻将牌牌面图片并进行标注的步骤具体包括：

移动摄像设备，对每种单个的麻将牌以及多张麻将牌的组合进行多种不同角度下的视频拍摄，从得到的视频里每隔一定帧数截取出一张图片并进行人工标注。

3.根据权利要求1所述的方法，其特征在于，所述利用计算机变换多种包括角度、亮度和大小在内的不同场景对麻将牌图片和背景图片进行合成并进行标注的步骤具体包括：

对所述麻将牌图片生成表征对应麻将牌牌名的标签数据；

对所述麻将牌图片进行包括随机旋转、缩放、亮度及对比度调整和投影在内的随机变换后放在一张随机选的背景图片上，生成合成麻将牌图片，并对互相重叠的两张合成麻将牌图片中的一张图片重新进行所述随机变换使每个所述合成麻将牌图片不重叠；

同时将所述麻将牌图片中麻将牌的最小外包矩形作为麻将牌的位置，将麻将牌对应的标签数据和所述最小外包矩形作为标注信息与所述合成麻将牌图片储存在一起。

4.根据权利要求1所述的方法，其特征在于，所述麻将牌图片包括：每种麻将牌的多种不同样式的图片。

5.根据权利要求1所述的方法，其特征在于，所述背景图片包括：多种类型的纹理图片。

6.一种基于人工智能的多模感知麻将辅助方法，其特征在于，包括以下步骤：

A1：摄像头捕捉打麻将时的出牌画面，利用如权利要求1-5中任一项所述的训练方法训练的麻将牌图像识别模型对所述出牌画面进行识别，得到当前麻将对局中己方手牌信息和场上出牌信息；以及

A2：利用麦克风接收打麻将时的出牌语音，基于声源定位确定所述出牌语音来自的出牌玩家，并利用自动语音识别技术将所述出牌语音转化为文字后进行分类识别出所述出牌玩家的出牌情况；

A3：根据所述己方手牌信息、场上出牌信息以及出牌玩家的出牌情况得到当前的麻将对局状态，对所述麻将对局状态进行分析计算出当前己方的推荐弃牌方案。

7.根据权利要求6所述的方法，其特征在于，所述基于声源定位确定所述出牌语音来自的出牌玩家的方法具体包括：通过不同麦克风接收到的所述出牌语音的声波的时间差与合成波形，形成一个声源方位角度到合成波形幅度的函数，通过所述函数确定所述出牌语音的声源方位，从而确定所述出牌语音来自的出牌玩家。