[发明专利]一种基于图像理解的移动终端信息推荐系统及其方法

说明书

本发明属于信息技术领域，具体涉及一种基于图像理解的移动终端信息推荐系统及其方法。所述基于图像理解的移动终端信息推荐方法，通过建立图像识别模型；获取场景图像；利用数字图像处理技术对场景图像进行预处理；通过图像识别模型识别场景图像，并将场景图像转化成数据信息；将数据信息作为检索式输入检索引擎；通过检索引擎将检索结果反馈成推荐信息，打造更智能的信息推荐系统，提供更直接的UI交互体验，改善推荐结果的相关性，有助于提升产品形象和用户粘度。

技术领域

本发明属于信息技术领域，具体涉及一种基于图像理解的移动终端信息推荐系统及其方法。

背景技术

随着AI技术的发展以及处理器计算能力的提升,图像的分割和识别准确率一直在提升,当前的CNN，RNN/LSTM，Attention等一系列深度学习技术的已经可以对一副图片中包含的物体进行准确的分割和识别，甚至可以提取图像中所包含的语义信息,自动生成对图片的理解。这种通过机器理解图像的技术，为移动终端社交应用的信息获取提供了又一便捷，快速的方案，只要移动终端通过深度学习技术(CNN，RNN，Attenion)识别图片中物体并通过Attention(注意力)机制生成对图像理解的文本描述，将识别结果(图片中物体识别和图像的文本描述)编码后传传给云端的图像理解引擎做文-图，图-文联想，经过联想后的结果作为检索式检索引擎的输入，云端对结果进行过滤和编码后推荐给移动终端，移动终端解码和进行UI渲染，展示结果。

信息推荐系统的应用有一定的场景性应用需求，比如扫图购物，社交推荐等需要实现基于图片而不是文字的信息获取，并且现实世界是一个多姿多彩的图像世界，文字只是我们对现实世界理解的描述，移动电子商务、移动社交、AR等应用有从现实世界中的图像中直接获取信息的迫切需求。

发明内容

为了解决上述不能做到对图像理解的实时处理，需要将图像传输到云端后再处理，传输数据量较大，且存在时延，体验比较差等问题，本发明提供一种基于图像理解的移动终端信息推荐系统及其方法。

为实现上述目的，本发明所采用的技术方案是：一种基于图像理解的移动终端信息推荐方法，所述方法包括以下步骤：

建立图像识别模型；

获取场景图像；

利用数字图像处理技术对场景图像进行预处理；

通过图像识别模型识别场景图像，并将场景图像转化成数据信息；

将数据信息作为检索式输入检索引擎；

通过检索引擎将检索结果反馈成推荐信息。

进一步的，预处理包括完成滤波、增强、复原中的一种或多种。

进一步的，图像识别模型包括图片识别模型。

进一步的，图片识别模型通过利用递归神经网络(RNN)分割图片、卷积神经网络识(CNN)别图片物体。

进一步的，图像识别模型包括图片语义模型。

进一步的，图片语义模型通过利用Attention机制生成图片语义描述。

进一步的，数据信息包括图片识别模型和/或图片语义信息。

进一步的，所述数据信息经图像理解引擎进行扩展，图像理解引擎经文-图、图文联想后对数据信息进行扩展。

一种基于图像理解的移动终端信息推荐系统，包括移动终端、云端，所述云端与移动终端进行数据对接，所述信息推荐系统包括获取模块、图像处理模块、图像理解模块、传输模块、显示模块；

所述获取模块，用于获取场景图像；

所述图像处理模块，用于将所述的获取场景图像进行预处理；