[发明专利]一种适宜于视觉大数据的词频直方图计算方法

摘要

本发明公开了一种适宜于视觉大数据的词频直方图计算方法，包括以下步骤，步骤一，利用特征提取算法，从图像中提取视觉词汇向量，将所有视觉词汇向量集合在一起形成源数据集D＝[D₁,D₂,...,D_m]，利用K‑Means算法对视觉词汇向量进行聚类，生成视觉词典C＝[C₁,C₂,...,C_K]；步骤二，统计视觉词典中视觉单词向量的词频，完成词频直方图。本发明采用Map‑Reduce数据处理方法，对BoW模型进行可并行化分析，将BoW模型适用于视觉大数据的分析与处理。

主权项

一种适宜于视觉大数据的词频直方图计算方法，其特征在于：包括以下步骤，步骤一，利用特征提取算法，从图像中提取视觉词汇向量，将所有视觉词汇向量集合在一起形成源数据集D＝[D₁,D₂,...,D_m]，利用K‑Means算法对视觉词汇向量进行聚类，生成视觉词典C＝[C₁,C₂,...,C_K]；其中，D_i为第i个视觉词汇向量，i∈[1,m]，m为视觉词汇向量的个数，dim(D_i)＝v，dim()表示维度，C_k为视觉词典中的第k个视觉单词向量，k∈[1,K]，K为视觉单词向量的个数，dim(C_k)＝v；步骤二，统计视觉词典中视觉单词向量的词频，完成词频直方图；21)读取视觉词典和源数据集，将视觉词典分发到集群的每个Worker点，使每个Worker点都有一份视觉词典的拷贝；将源数据集Map到每个Worker点，使每个Worker点都有一份相互不同的源数据集分片；22)在每个Worker上面分别计算D_i到C_k的欧式距离，并比较欧式距离的大小，得到最小欧式距离的索引k；23)对步22中的结果做一个Reduce，统计对应每个图像，C_k出现的次数，得到每个C_k的词频，从而得到对每张图像的词频直方图。