[发明专利]一种个性化及协同化融合的网上多媒体检索与查询方法

权利要求书

1.一种个性化及协同化融合的网上多媒体检索方法，其特征在于：该方法包括以下步骤：

(1)对多媒体信息进行语义的自动标注：利用多媒体信息数据库的各种已有的高层语义，通过统计学习模型从中自动选取最能表达多媒体内容的若干关键字作为媒体信息的语义，并结合多媒体信息的底层特征相似度比较，进行关键字传播和多媒体语义的自动信息标注，所述各种已有的高层语义包括文本语义标注、多媒体信息间的超链接说明、主题词、图像的主体名及其视觉特征描述词、Web页面内的多媒体信息间的关联描述；

(2)建立用户侧档，其中包含用户的信息及个人喜好，按照用户的喜好程度，对检索结果进行优化排序，剔除用户不感兴趣的内容；

用户侧档的基本结构定义如下：

UP＝<UInfo，P，UPL>

UInfo＝<UID，UN，UD>

其中UPL表示用户感兴趣的关键短语的相关信息，P是指向用户所属群组的公共侧档的指针；UInfo表示用户信息，UID表示用户唯一标识符，UN表示用户名，UD表示用户其它描述信息；

在用户使用过程中，按照用户检索的结果进行聚类分析，确定用户最感兴趣的关键短语；

(3)在每次检索结束后，用户对系统当前检索结果的满意程度进行反馈，系统接收用户的相关反馈意见，然后根据用户的反馈意见进行检索调整，动态调整用户侧档中各关键短语的权重，在下一次检索时能够按照新的关键短语的优先度对检索结果进行排序；

(4)用户选择属于某一群组，系统为该群组建立公共侧档来描述群组的共 同行为和群组成员的普遍偏好；当一个用户新加入一个群组，从这个群组的公共侧档中继承属性；同样，群组侧档又能够从范围更大的社区侧档中继承属性；

公共侧档的基本结构定义为：

CP＝<CInfo，WL，Suc>

CInfo＝<GID，NAME，DE>

其中WL表示该公共侧档中用户的普遍偏好，Suc表示该公共侧档的继承关系；CInfo表示该公共侧档的信息，GID表示该公共侧档唯一标识符，NAME表示公共侧档的名称，DE表示该公共侧档其它的描述信息；

公共侧档的建立过程：在系统建立时，根据已有的经验知识，为不同的群组事先指定普遍偏好；同时，公共侧档根据内部各成员的检索偏好及相关反馈的情况，动态调整预先制定的普遍偏好；在公共侧档进行更新时，通过限制每个用户对特定关键字的投票次数，并结合公共侧档的用户副本在线更新；

(5)实现跨模态的多媒体信息检索，具体包含以下步骤：

(5.1)提取出各种模态媒体对象的底层特征，计算同种模态媒体所有对象间两两的距离，并将所有距离进行高斯归一化；

(5.2)通过非线性方法对不同多媒体文档内的声音、视频、图像、文本对象所携带的信息进行融合分析，求得步骤(5.1)中得到的各个距离的最大值max dis和最小值min dis，定义多媒体文档之间的距离Dis如下：

Dis＝λ×min dis+(α+ln(β×(max dis-min dis)+1))+A

其中α、β、λ和A是根据数据库大小和数据分布情况可调节的常数；

(5.3)建立多媒体文档关联图，每个多媒体文档是该图上的一个顶点，任意两点间有一条边，边的权重即为步骤(5.2)中计算的距离，表示两个多媒体文档的相似关系； 

(5.4)重构多媒体文档关联图，首先设置一个阈值，将权重大于阈值的边的权全部设为无穷大；然后对所有的边，用两点间最短路径作为该边的新权重；

(5.5)采用多向度量法将多媒体文档关联图投影到多媒体语义空间，所有多媒体文档都在该空间有唯一的坐标，所有多媒体文档内的媒体对象也都被该坐标所指向；

(5.6)用户检索时，首先找到该媒体对象在多媒体语义空间的坐标，再计算与其他所有媒体对象的距离，并返回距离最近的目标模态的媒体对象。