[发明专利]一种基于混合数据类型数据的挖掘方法

说明书

技术领域

本发明涉及多种混合数据类型数据的挖掘，尤其涉及在混合数据类型的数据中挖掘信息相关性的方法。

背景技术

随着大数据时代的到来，如何挖掘海量数据中的有效信息成为重要课题，其中尤其涉及信息间相关性的挖掘。社交网络媒体成为新的媒体载体，网络用户在使用社交网络媒体(例如微博、微信、Facebook、Instagram)发布信息时，通常会使用多种混合数据类型的数据，例如图像数据以及文本数据混合的数据。

现有技术通常仅侧重于对文本数据的分析，例如采用LDA或是PLSA等模型对文本进行信息提取，这一定程度上解决了文字表层含义和其高层语义之间的“语义鸿沟”，从而进一步挖掘得到隐藏在文字表层含义下的信息间相关性。然而，信息通常不仅仅存在于文本数据中，例如对于社交网络媒体，除了文本数据，大量的信息常常存在于图像数据或是视频数据中，仅在文本数据中进行数据挖掘使得大量信息遗失。

发明内容

针对以上问题，本发明的目的在于提供一种数据挖掘方法，用于 挖掘混合数据类型数据中的信息，并进一步获取信息间的相关性。

根据本发明的第一方面，提供一种数据挖掘方法，用于挖掘混合数据类型数据，混合数据类型数据包括图像数据和文本数据，图像数据中至少包括主体信息，文本数据中至少包括场景信息或情感信息，数据挖掘方法包括步骤：a建立主体信息库，建立场景或情感信息库；b获取多个数据单元，至少部分数据单元包括图像数据以及文本数据，图像数据中至少包括主体信息，文本数据中至少包括场景信息或情感信息；c将每一个数据单元分解成图像数据以及文本数据；d基于主体信息库，对每一个数据单元的图像数据采用自动化图像识别方法从而识别图像数据的主体信息；e对每一个数据单元按主体信息进行分类，从而形成至少一个主体域，每一个主体域对应数个数据单元；f基于场景或情感信息库，对每一个主体域中的每一个数据单元的文本数据采用自动化文本识别方法来识别文本数据的场景信息或情感信息，从而得到至少一个按照特定主体信息分类的场景域或情感域；g对每一个场景域或情感域中的元素，按场景信息或情感信息进行分类，从而获得数个特定域，每个特定域包含相同的主体信息以及相同的场景信息，或包含相同的主体信息以及相同的情感信息。

优选地，数据单元设有数据标识码，属于同一数据单元的图像数据以及文本数据具有相同的数据标识码并通过数据标识码相互关联。

优选地，自动化图像识别方法包括步骤：提取需要识别的图像数据的识别特征；将图像数据的识别特征输入主体信息库进行计算，从而判断是否包含特定主体信息。

优选地，自动化文本识别方法包括步骤：提取文本数据的识别特征；将文本数据的识别特征输入场景或情感信息库进行计算，从而判断是否包含特定场景信息或情感信息。

优选地，自动化文本识别方法包括步骤：对目标文本提取关键字；将关键字输入场景或情感信息库，通过句法规则判断目标文本是否包含特定场景信息或情感信息。

优选地，数据挖掘方法还包括步骤：h将所有具有同一特定主体信息的特定域按其中元素的数量多少进行排序。

优选地，数据挖掘方法还包括步骤：h将所有具有同一特定场景信息或情感信息的特定域按其中元素数量多少进行排序。

优选地，数据挖掘方法还包括步骤：h对所有的特定域按筛选条件进行筛选，将筛选后的特定域按其中的元素数量多少进行排序。

根据本发明的第二方面，提供一种数据挖掘方法，用于挖掘混合数据类型数据，数据挖掘方法包括步骤：a建立主体信息库，建立场景或情感信息库；b获取多个数据单元，至少部分数据单元包括图像数据以及文本数据，图像数据中至少包括主体信息，文本数据中至少包括场景信息或情感信息；c将每一个数据单元分解成图像数据以及文本数据；d基于主体信息库，对每一个数据单元的图像数据采用自动化图像识别方法从而识别图像数据的主体信息；e基于场景或情感信息库，对每一个数据单元的文本数据采用自动化文本识别方法从而识别文本数据的场景信息或情感信息；f对主体信息进行分类，从而形成至少一个主体域；g对每一个主体域，找出其中每一个主体信息 所对应数据单元的场景信息或情感信息，从而得到按照特定主体信息分类的场景域或情感域；h对每一个场景域或情感域，按场景信息或情感信息进行分类，从而获得数个特定域，每个特定域包含相同的主体信息以及相同的场景信息，或包含相同的主体信息以及相同的情感信息。