[发明专利]一种基于图像识别的编程游戏方法及装置

说明书

本发明公开了一种基于图像识别的编程游戏方法及装置，所述方法包括以下步骤：步骤S1，手机安装并与托盘粗定位；步骤S2，打开手机APP，选择关数，设置游戏闯关问题；步骤S3，根据游戏问题在托盘中摆放出指令块并拍照获取所述摆放指令块的托盘图像；步骤S4，根据所述图像识别出所述摆放指令块的信息；步骤S5，根据所述信息核算出所摆指令块是否能解决游戏设置问题，并对游戏过程及结果做出相应的显示。本方法通过利用家家都有的手机来做核心处理，既降低了游戏装置的生产成本，让中低收入的家庭都能买得起，方便更大范围的推广，普惠更多儿童，且结合APP及可变指令块，又方便游戏的升级，增加游戏的多样性。

技术领域

本发明涉及益智游戏领域，尤其涉及一种基于图像识别的编程游戏方法及装置。

背景技术

编程是人工智能技术的基本技能，少儿编程教学可以大致分为两类：一类是Scratch或是仿Scratch的图形化编程教学，另一类是基于Python/C++等高级编程语言的计算机编程教学，但这些编程教学需要少儿必备带屏幕电子设备，以显示程序图形或代码，且需要少儿一直盯着电子屏幕来完成编程过程，影响视力发育，另外这些设备对于部分家庭来说除了少儿学习外，很难有其他用途，给这些家庭造成了一定的经济压力和资源浪费。

网络游戏过度投入对我国未成年人生理和心理带来双重负面影响，网络游戏的危害越来越得到社会的共识。

鉴于此，怎样在低成本的情况下把人工智能教育/编程教育与游戏结合起来，让孩子们既能健康的游戏，又能学习有用的知识，助力教育公平性，是人们亟待解决的一个社会问题。

发明内容

本发明的目的是提供一种基于图像识别的编程游戏方法及装置，所述方法利用家家都有的手机来做主要处理，极大降低了硬件生产成本，且使用者又不用一直盯着手机，既让使用者享受游戏的乐趣，又可以从中学习编程方法。

为实现上述目的，本发明的技术方案为提供一种基于图像识别的编程游戏的方法，包括以下步骤：

步骤S1，手机安装并与托盘粗定位；

步骤S2，打开手机APP，选择关数，设置游戏闯关问题；

步骤S3，根据游戏问题在托盘中摆放出指令块并拍照获取所述摆放指令块托盘图像；

步骤S4，根据所述图像识别出所述摆放指令块的信息；

步骤S5，根据所述信息核算出所摆指令块是否能解决游戏设置问题，并对游戏过程及结果做出相应的显示。

优选地，所述步骤S1的具体实现方式包括：

步骤S11，将手机放置在装置的手机夹中，托盘放置于支撑台上；

步骤S12，打开手机APP，进入相机画面页，调整调节部位，使得托盘图像尽可能多的占据相机画面且不超出，调整后固定托盘和手机并关闭手机APP。

优选地，所述步骤S12在APP相机画面设置定位框，托盘上设置定位标记，调整使得托盘定位标记落入对应相机画面的定位框中，调整部位包括手机位置、支架高度、托盘位置。

所述步骤S1执行完之后只要手机和托盘的相对位置不改变，就不需要再次执行。

优选地，所述步骤S4的具体实现方式包括：

步骤S41，将所述图像输入神经网络进行目标检测，一次性获取托盘中所有指令块的信息，信息包括位置信息、分类信息、语义分割信息、实例分割信息、OCR信息；

步骤S42，根据所述指令块的信息转换得到相应的指令信息。

优选地，所述基于图像识别的编程游戏方法可以通过APP在线升级来增加游戏内容，且不需要增加额外装置。

一种基于图像识别的编程游戏装置，包括：

手机及APP，用于包括设置游戏关数、在线升级、获取图像及处理图像、游戏执行过程显示；