[发明专利]一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法

摘要

一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法对图像的文本描述信息进行分词等处理，生成以单词为单位的每幅图像的文本描述集，统计整个图像集的文本描述集中出现过的单词及其全局出现概率；提取图像视觉特征，包括归一化的HSV空间颜色直方图和边缘方向直方图特征；根据图像底层特征计算图像间的视觉相似度，对每幅图像取与之视觉相似度最大的k幅图像生成其邻居图像集；对图像的视觉特征和文本描述信息进行特征融合，根据目标图像文本描述集中的单词在该图像邻居中出现的局部概率以及该单词在所有图像中出现的全局概率，计算该单词与目标图像的相关度。本发明可以提高图像文本描述信息的准确度。

主权项

一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统，其特征在于：对图像的低层视觉特征和图像的文本描述信息进行特征融合，提高图像文本描述信息的准确度，进而提高基于文本的图像检索的准确度，包括文本处理模块、图像视觉特征抽取模块、图像邻居计算模块和特征融合模块；文本处理模块，根据的图像数据库中图像的文本标注信息，对图像的标题、元数据信息、标签文本标注信息进行分词，对分词后的文本进行去停用词、提取词干处理，以经处理后的单词文本生成该图像的文本描述集；对整个图像集的文本描述集合，统计所有出现过的单词，并计算每个单词t的全局出现概率，即文本描述集合包含单词t的图像数目与整个图像集中的图像数目的比值，将文本处理模块输出的文本信息输出至特征融合模块；图像视觉特征抽取模块，图像的特征层次有低层视觉特征和高层语义特征，根据来自图像数据库中的图像数据，对于每幅图像提取全局低层视觉特征，包括HSV空间的颜色直方图和边缘方向直方图，并对直方图特征进行归一化，每幅图像的低层视觉特征由这两组特征连接组成，每一组特征是一个向量，将图像视觉特征抽取模块输出的图像视觉特征输出至图像邻居计算模块；图像邻居计算模块，利用图像视觉特征抽取模块提取的特征，计算每幅图像和其它图像的相似度并对按照相似度由大到小对其他图像进行排序；以与当前图像相似度最大的k幅图像作为该图像的邻居图像集；图像之间相似度采用欧式距离进行计算，欧式距离越大相似度越小，将图像邻居计算模块输出的图像的邻居信息输出至特征融合模块；特征融合模块，利用文本处理模块输出的图像的文本信息，以及图像邻居计算模块输出的图像邻居信息进行图像的特征融合，基于相似图像不仅视觉特征应该相似，文本描述信息也应该相似的假设，融合过程为：首先对目标图像的文本描述集合中的每一个单词，计算其在该图像的邻居中出现的概率，即局部出现概率，计算公式如下：Pl(i)(t)=|NNt(i)||NN(i)|]]>其中，Pl(i)(t)表示在图像i的邻居中图像集中单词t出现的局部概率，NN(i)表示图像i的邻居图像集合，|C|表示集合C的模，由于在邻居计算模块中指定邻居数目为k，故NN(i)的值为k，表示在图像i的邻居图像中，文本描述集合中包含单词t的图像集合；对每幅图像文本描述集合中的每个单词，根据该单词在该图像的邻居图像中的局部出现概率以及该单词在所有图像中的全局出现概率，计算该单词与该图像的相关度，如果该单词在该图像邻居中的局部出现概率远大于其全局出现概率，则认为该单词与该图像的较相关，相关度较大，即相关范围在[0,1]区间内，如果该单词在该图像邻居中的局部出现概率小于其全局出现概率，则认为该单词与该图像不相关；以局部出现概率减去全局出现概率作为该单词与图像调整后的相关度，若调整后的相关度小于0，则将该相关度置为0，最终相关度是原始相关度和调整后的相关度的加权和，单词与图像的相关度计算公式如下：rel(i)(t)＝α+(1‑α)·max(Pl(i)(t)‑Pg(t),0)其中，rel(i)(t)表示图像i与单词t的相关度，由于在文本处理模块，图像的文本描述集合中每个单词的出现频率定为1，α和(1‑α)分别为原始词频的权重和调整后相关度的权重，max(a,b)的值为a和b中的较大值，Pl(i)(t)‑Pg(t)即为单词t在图像i的邻居中出现的局部概率与单词t在所有图像中的全局出现概率之差，若该差值小于零，则取零；最终得到图像文本描述集的单词和该图像之间的相关度，从而完成图像的特征融合。