[发明专利]一种基于图像识别和音频识别的游戏辅助系统

权利要求书

1.一种基于图像识别和音频识别的游戏辅助系统，其特征在于：包括游戏图像采集预处理模块、游戏声音采集预处理模块、数字图像识别模块、数字音频识别模块以及识别结果提示模块；其中：

所述游戏图像采集预处理模块用于对游戏视频图像进行实时抓取并进行预处理；该模块先将连续的游戏视频转换成离散的数字图像，对于在固定位置展示的内容，直接截取图像中对应区域的图像块传递给数字图像识别模块进行识别处理；对于不在固定位置出现的目标，以滑动窗口的形式对采集到的图像进行裁剪，只截取图像中上部分，然后对截取后的图像进行等比缩放，并且记录每一帧的前后顺序，待数字图像识别模块调用进行分析；

所述游戏声音采集预处理模块用于对游戏多声道声音进行实时抓取并进行预处理；该模块将连续的声音按照各自的声道转换成分段定时长的数字音频包，并标记各音频包所属的声道，然后传递给数字音频识别模块进行下一步处理；

所述数字图像识别模块用于识别出游戏视频图像中的电子罗盘角度、小地图中玩家坐标以及人物和交通工具位置；该模块对于电子罗盘角度的识别，采用两个卷积神经网络辅之以一些图像预处理方法实现；对于小地图中玩家坐标的识别，则直接采用图像处理方法实现；对于人物和交通工具的识别，采用通过机器学习离线训练得到的模型进行处理识别，该模型具有目标检测和目标识别两部分功能，即对游戏图像采集预处理模块输入的游戏视频图像，先检测出感兴趣物体的位置，然后对该物体进行识别，判断具体是哪种类型的目标物体；数字图像识别模块利用连续图像序列前后帧之间的关联信息，对单张图像的目标检测和识别过程进行有效辅助，进一步提高识别的正确率；同时，由于游戏图像采集预处理模块对输入的图像经过裁剪和缩放处理，故数字图像识别模块在识别到目标物后需进行坐标系转换，计算出目标物在游戏原始图像中的位置坐标，然后交由识别结果提示模块进行下一步处理，并将目标物的位置坐标反馈给游戏图像采集预处理模块，便于进行内部性能优化和效率提升；

所述模型为基于深度学习视觉算法YOLOv2的全卷积神经网络模型，该网络模型具有上采样层和金字塔结构，上采样层用于提高小尺寸目标的识别正确率和召回率；金字塔结构用于将浅层的信息输入到深层网络，结合浅层的空间信息和深层的语义信息，配合上采样层进一步提高目标识别的正确率；

所述数字图像识别模块在对目标进行检测及识别时会借助到图像离线训练系统，该系统基于机器学习中的深度学习技术，通过对大量样本的学习训练，得到一个可以检测并识别出目标物体的AI算法模型，即首先对游戏进行图像采集并制定严格的标注规则，在训练过程中AI算法模型中的参数会根据所学习的数据分布，在反向传递算法的作用下优化模型参数，逼近该数据分布下的全局最优或者局部最优；在目标检测方面，则事先给出一定大小、比例的锚点，结合全卷积结构图像区域一一对应的特点，对全图进行遍历，同时将标注目标的位置记录下来，然后以交并比作为度量，用kmean++算法对标注框进行聚类，得到所有标注框中最具代表性的一些框作为锚点，最后使用GPU来对AI算法模型进行迭代训练，直到模型收敛为止；

所述数字音频识别模块采用音频离线分析系统给出的目标信号频谱特征，对各个声道的音频数据进行频域分析比对，判断哪个声道中包含枪声信息；当在多个声道同时都检测出枪声后，该模块结合各个声道在时域空间中的音量振幅进行分析，把检测到枪声的各个声道的时域振幅作为不同的枪声分量，根据矢量的特性，最终计算出枪声在立体空间中的来源方位，然后传递给识别结果提示模块进行下一步处理；

所述识别结果提示模块用于将电子罗盘角度、小地图中玩家坐标、人物和交通工具位置以及枪声出现的方位在游戏画面上对应的位置醒目标注出来，并给出语音报警，从而达到及时提醒玩家注意的目的。

2.根据权利要求1所述的游戏辅助系统，其特征在于：所述音频离线分析系统基于频域分析技术，通过对事先采集到的多种枪声音频样本进行频谱分析，获取目标样本的频域特征，提供给数字音频识别模块进行频谱比对操作，数字音频识别模块采用快速傅立叶变换对音频信号进行时域到频域的转换，即将事先采集到的枪声信号进行傅立叶变换，观察它们的频域特征，若发现在某些固定频段各种枪声的幅值相对较大，则数字音频识别模块以这些频段为参考区间，比对它们的幅值是否超过了预设的阈值，若是则判定为枪声。