[发明专利]一种基于功能磁共振成像的视频数据检索方法

摘要

本发明涉及一种基于功能磁共振成像的视频数据检索方法，其特征在于：首先利用部分视频数据的底层视觉特征向量和对应的脑功能成像空间特征向量建立高斯过程回归模型，用该模型预测剩余视频数据的脑功能成像空间特征向量，得到所有视频数据的脑功能成像空间特征向量；然后，利用脑功能成像空间特征向量建立流形结构，得到权重矩阵；最后，利用权重矩阵对视频数据进行流形排序得到打分最高的视频数据作为检索结果。利用本发明方法，可以实现具有人脑认知信息指导的视频数据检索过程，与传统基于底层视觉特征如颜色、形状等视频数据检索方法相比，大大提高了检索准确性。

主权项

1.一种基于功能磁共振成像的视频数据检索方法，其特征在于步骤如下：步骤1从功能磁共振成像数据中提取N_f个视频数据的脑功能成像空间特征向量：从矩阵X_i，j中提取脑功能成像空间特征向量Y_i＝{y_i，1，y_i，2，...，y_i，w1}，其中，i表示N_f个具有对应功能磁共振成像数据的视频数据中的第i个视频数据；j表示每个视频数据对应的第j个功能磁共振成像数据矩阵；矩阵X_i，j大小为m1×n1，m1∈[0，1000]，n1∈[2，10000]；所述矩阵X_i，j为N_f∈[10，1000]个视频数据分别具有M个功能磁共振成像数据矩阵X_i，j；所述N_f∈[10，1000]个视频数据属于视频数据库中N∈[1000，100000]个视频数据，i＝1，2，...，N_f，j＝1，2，...，M，M∈[10，100]；提取脑功能成像空间特征向量具体步骤如下：步骤a求矩阵X_i，j的主成分向量：将矩阵X_i，j的元素减去所在行元素的均值得到矩阵Z_i，j，大小为m1×n1，将矩阵Z_i，j与其转置矩阵Z_i，j^T相乘得到矩阵C_i，j＝Z_i，j×Z_i，j^T，C_i，j大小为m1×m1，然后，利用矩阵C_i，j最大的特征值对应的特征向量E_i与X_i相乘，得到矩阵X_i，j的主成分向量V_i，j＝(v_i，j，1，v_i，j，2，...v_i，j，n1)；步骤b求N_f个视频数据的皮尔森相关矩阵：计算第i∈[1，N_f]个视频数据对应的任意两个主成分向量V_i，j1＝(v_i，j1，1，v_i，j1，2，...，v_i，j1，q，...，v_i，j1，n1)，j1＝1，2，...，M，和V_i，j2＝(v_i，j2，1，v_i，j2，2，...，v_i，j2，q，...，v_i，j2，n1)，j2＝1，2，...，M，的皮尔森相关系数：ri,j1,j2=Σvi,j1,qvi,j2,q-Σvi,j1,qΣvi,j2,qn1(Σvi,j1,q2-(Σvi,j1,q)2n1)(Σvi,j2,q2-(Σvi,j2,q)2n1)]]>得到皮尔森相关系数矩阵R_i＝{r_i，j1，j2}；步骤c：将每个视频数据的皮尔森相关系数矩阵R_i上的三角阵拉伸为长度为的行向量p_i，构造矩阵p₁到p_i1为第一类视频数据的行向量，p_i1+1到为第二类视频数据的行向量，然后，对矩阵P的每一列P_k，进行t检验，即求得：tk=P‾k,1-P‾k,2(i1-1)Sk,1*2+(Nf-i1-1)Sk,2*2i1×(Nf-i1)×NfNf]]>当|t_k|＞t_α/2(N_f-2)，α＝0.05，选出P的第k列作为矩阵Q的列，矩阵Q的第i行即为第i个视频数据对应的脑功能成像空间特征向量Y_i＝{y_i，1，y_i，2，...，y_i，w1}；步骤2提取N个视频数据的底层视觉特征向量：利用尺度不变特征变换匹配算法提取N个视频数据中每个视频数据第一帧的128维SIFT描述向量f_s，h，s＝1，2，...，N，h＝1，2，...，H_s，H_s∈[10，10000]，然后，利用k均值算法将每个视频数据对应的H_s个SIFT描述向量分为G类，G∈[20，1000]，统计每类中SIFT描述向量的个数Num_s，l，l＝1，2，...，G，得到每个视频数据的G维底层视觉特征向量F_s＝{Num_s，1，Num_s，2，...，Num_s，G}；步骤3利用高斯过程回归预测N-N_f个视频数据的脑功能成像空间特征向量：利用脑功能成像空间特征向量Y_i＝{y_i，1，y_i，2，...，y_i，w1}，和其对应视频数据的底层视觉特征向量F_s1＝{Num_s1，1，Num_s1，2，...，Num_s1，G}，s1＝1，2，...，N_f，建立高斯过程回归模型GPM，利用高斯过程回归模型GPM预测N-N_f个视频数据的脑功能成像空间特征向量，具体步骤如下：步骤a选取高斯核函数：kn,m=k(Fn,Fm)=θ0exp{-12Σu=1Gηu(Numn,u-Numm,u)2}+θ1]]>选取相关系数计算公式c_n，m＝c(F_n，F_m)＝k_n，m+β^-1δ_n，m；其中，F_n、F_m表示N_f个视频数据中任意两个视频数据的底层视觉特征向量，n＝1，2，...N_f，m＝1，2，...N_f；θ₀、η_u和θ₁表示高斯核函数中的超参数，u＝1，2，...，G；Num_n，u、Num_m，u表示F_n、F_m中第u维上的数值；c(F_n，F_m)表示向量F_n和F_m之间的相关系数；β表示随机噪声；步骤b对脑功能成像空间特征第b＝1，2，...，w1维构建方程组：y1,b=K1C1-1t1,by2,b=K2C2-1t2,b...yNf,b=KNfCNf-1tNf,b]]>计算第b维脑功能成像空间特征对应的超参数θ₀、η_u和θ₂；其中，y_i，b表示第i个视频数据的脑功能成像空间特征向量的第b维的值，C_i＝{c_n，m}，步骤c利用超参数对N-N_f个脑功能成像空间特征未知的视频数据第b＝1，2，...，w1维脑功能成像空间特征向量进行预测，计算公式如下：yNf+1,b=KNf+1CNf+1-1tNf+1,byNf+2,b=KNf+2CNf+2-1tNf+2,b...yN,b=KNCN-1tN,b]]>其中，s＝N_f+1，...，N，C_s＝{c_n，m}，步骤4 利用N个视频数据的脑功能成像空间特征向量得到流形结构的权重矩阵W，具体步骤如下：步骤a：将每个视频数据的脑功能成像空间特征向量Y_s＝{y_s，1，y_s，2，...，y_s，w1}，s＝1，...，N，视为流形结构中的一个点，找到与其欧式距离最近的d个脑功能成像空间特征向量，d∈[10，100]；步骤b：如果脑功能成像空间特征向量Y_s1和Y_s2是近邻关系，s1＝1，...，N，s2＝1，...，N，利用计算每两个脑功能成像空间特征向量间的权重系数W_s1，s2，得到权重矩阵W，令W_s1，s1＝0，s1＝1，...，N，σ′∈(0，1)；步骤5利用权重矩阵W进行视频数据检索，具体步骤如下：步骤a：随机选取属于同一类的D个视频数据作为查询集D∈[1，100]，其中，分别表示N个视频数据中的第z₁，z₂，...，z_D个视频；步骤b：利用S＝P^-1/2WP^-1/2对权重矩阵W进行正规化，其中，S表示对W正规化后的矩阵；P表示对角元素为的对角矩阵，其中，s1＝1，...，N；s2＝1，...，N；步骤c：利用分数向量Gr＝A⁺H⁺+A^-H^-对视频数据进行打分，其中，A⁺＝μ(1-α₁S)^-1，A^-＝γA⁺；H⁺长度为N的正查询向量，H⁺元素为1对应查询集中属于查询类别的视频数据，初始设置H⁺的第z₁，z₂，...，z_D个元素为1，其余为0，H^-表示长度为N的负查询向量，H^-元素为-1对应查询集中不属于查询类别的视频数据，初始设置为0向量；μ、α₁、γ表示参数，范围为(0，1)；步骤d：按照每个视频数据对应Gr中的分数对视频数据由高到低排序，从中选择得分最高的B个视频数据显示给用户，B∈[1，20]，在用户标注出满足需求的视频之后，在H⁺相应位置设为1，不满足用户需求的视频数据，在H^-相应位置设为-1，将H⁺和H^-返回步骤c进行计算，得到检索结果为止。