[发明专利]一种分布式海量多媒体图片智能分析方法及装置

说明书

本发明提出了一种分布式海量多媒体图片智能分析方法及装置，该方法包括：应用系统把获取到的多媒体图片存储在kafka图片待处理队列；将N+1个计算设备构成分布式处理系统，在每个计算设备上部署的图片智能解析引擎，每个图片智能解析引擎分别从kafka图片待处理队列中获取待处理图片进行智能处理得到处理结果，并将图片的处理结果存储至kafka图片已处理队列；所述应用系统从kafka图片已处理队列获取所述处理结果，并根据所述处理结果对图片进行处理。本发明中，通过分布式处理系统对来自应用系统的海量图片进行智能化分析处理，从而应用系统将不必要的图片进行删除等，降低了应用系统的存储数据量，提高了应用系统的性能，还提高了图片分类的准确率。

技术领域

本发明涉及机器学习技术领域，具体涉及一种分布式海量多媒体图片智能分析方法及装置。

背景技术

随着移动互联网、智能终端和云存储的迅猛发展，大家在互联网上参与上网和各种社交活动产生的图片呈现爆炸式地增长，并且随着时间不断累加，这么大的数据量，对图片的存储资源也是非常大的挑战。这些数据真实反应的用户的上网行为，如何快速挖掘这些海量图片中的价值数据，即如何快速对非结构化数据进行结构化，是这几年的研究热点。

多媒体图片智能信息挖掘是从海量的多媒体图片数据集中，通过综合分析图片的特性和语义，发现隐含的，有效的，有价值的，可理解的模式，从而发现知识，为更多的上层应用提供决策基础知识。

现有技术中，媒体图片的智能挖掘目前很多采用图片分类确定图片的类别标签，利用图片语义单一模态来确定，这种对图片分类标签确定，有时候不能充分挖掘图片中有价值、有效的信息，如图片是聊天记录的截图，需要挖掘聊天内容信息，因此利用多模态技术，全方位的解析图片内容，充分挖掘有价值信息。

图片每天产生的数据量是海量(达到千亿张/每天级别)，这么大数据量的结构化解析不是一台服务器或者设备处理能力可以达到的，因此，如何将大量的图片进行过滤后存储也是一项挑战。

发明内容

本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。

一种分布式海量多媒体图片智能分析方法，该方法包括：

预处理步骤，应用系统把获取到的多媒体图片存储在kafka图片待处理队列；

智能分析步骤，将N+1个计算设备构成分布式处理系统，在每个计算设备上部署的图片智能解析引擎，每个图片智能解析引擎分别从kafka图片待处理队列中获取待处理图片进行智能处理得到处理结果，并将图片的处理结果存储至kafka图片已处理队列；

获取步骤，所述应用系统从kafka图片已处理队列获取所述处理结果，并根据所述处理结果对图片进行处理。

更进一步地，所述每个图片智能解析引擎分别从kafka图片待处理队列中获取待处理图片进行智能处理得到处理结果的操作为：将所述待处理图片File_img输入到已训练的第一神经网络模型，提取图片特征，通过分类器，输出图片分类标签Tag_img和该分类类别的置信度P_img。

更进一步地，对所述待处理图片进行OCR识别得到图片文本内容text；将text输入到已训练的第二神经网络模型，提取文本语义特征，通过文本分类器，输出文本语义标签Tag_text和该分类类别置信度P_text。

更进一步地，按预定融合策略，将图片分类标签Tag_img和文本语义分类标签Tag_text互相验证及融合，输出所述图片的最终类型标签Tag。

更进一步地，所述预定融合策略为：

设两个阈值参数ε_img和ε_html；