[发明专利]基于人工智能的绘本或教材的视觉识别方法及装置

权利要求书

1.一种基于人工智能的绘本或教材的视觉识别方法，其特征在于，所述方法包含以下步骤：

步骤一：采集待识别内容物图像，对内页图像数据进行图像识别；

步骤二：结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识别模式；

步骤三：在对应的算法识别模式下，向用户反馈多模态识别结果数据；

所述步骤一中还包含以下步骤：若未能检测到当前图像数据包含内页图像数据，则对当前图像进行封面识别，认定当前图像为图书的封面，进行封面内容识别，识别封面上包含的文字内容；

所述步骤二中还包含以下步骤：确定所述内页图像数据的分辨率信息，与阈值信息进行比较，所述分辨率信息低于所述阈值信息时，确定所述待识别内容物为绘本图书，进入图像特征识别模式，对绘本图书进行内页识别；当所述分辨率信息高于所述阈值信息时，确定所述待识别内容物为教材图书，进行光学字符识别，对教材图书进行内页识别。

2.如权利要求1所述的方法，其特征在于，所述步骤二之后还包含以下步骤：接收用户输出的语音交互数据，对所述语音交互数据进行语义理解处理，得到用户的交互意图。

3.如权利要求2所述的方法，其特征在于，所述步骤二之后还包含以下步骤：当检测到手型轮廓时，进入指读识别模式，基于所述手型轮廓指向位置的内容信息，结合所述交互意图得到所述多模态识别结果数据。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。

5.一种存储介质，其包含用于执行如权利要求1-4中任一项所述的方法步骤的一系列指令。

6.一种基于人工智能的绘本或教材的视觉识别装置，其特征在于，执行如权利要求1-4中任一项所述的方法，所述装置包含：

第一模块，其用于采集待识别内容物图像，对内页图像数据进行图像识别；

第二模块，其用于结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识别模式；

第三模块，其用于在对应的算法识别模式下，向用户反馈多模态识别结果数据。

7.一种儿童专用智能设备，其特征在于，用于执行如权利要求1-4中任一项所述的方法步骤的一系列指令。

8.一种基于人工智能的绘本或教材的视觉识别系统，其特征在于，所述系统包含：

如权利要求7所述的儿童专用智能设备；

待识别内容物；

云端服务器，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用智能设备输出多模态数据。