[发明专利]一种基于反馈学习的运动捕获数据检索方法

摘要

本发明公开的一种基于反馈学习的运动捕获数据检索方法，通过两个关键技术提高复杂运动捕获数据检索精度，一是通过引入四元数描述动作数据的旋转信息，保证了数据信息获取的完整性及可靠性；二是进行人工标签得到样本训练并引入KNN反馈学习来不断输出用户满意的结果，实现人机互动，可以进行特定动作的检索，提高实时检索的精度。

主权项

一种基于反馈学习的运动捕获数据检索方法，其特征在于，具体按照以下步骤实施：步骤1：摄像头捕获运动信息并生成运动数据库，服务器端对运动数据库中的每个动作进行图像处理获得所有动作的数据特征，生成动作特征数据库，并建立索引，具体按照以下步骤实施：1)设运动数据库有m个动作，m为正整数，为运动数据库所有动作的数目，对每个动作进行特征提取，即读取运动捕获数据格式文件，获得每个动作的旋转数据信息作为特征描述信息，选取21个关节点代表动作；2)选用单位四元数来描述关节点运动的旋转信息，单位四元数公式为：||q||=Norm(q)=w2+x2+y2+z2=1,]]>其中，w为标量，(x,y,z)为向量；3)采取K‑means聚类算法对运动数据库的单位四元数特征数据进行降维并归类，生成最终的特征数据库，具体按照以下步骤实施：a.每个动作由21个关节点代表，用单位四元数描述旋转数据信息，每个动作由21*4＝84维的向量来表示，特征数据库的维数为m*84；b.用K‑means算法对运动数据库里m个动作的四元数描述特征进行降维处理，每k个最能代表动作的特征聚成一类，k为正整数，每个动作是k*84维动作，运动数据库的维数为m*k*84维，除去奇异值，进行归一化；c.用reshape函数将运动数据库k*84维重塑为1*(84*k)维动作，动作数据库的特征表示如下：f→MC=f→MC1=(f→1MC,f→2MC,...f→84*kMC)1..f→MCi=(f→1MC,f→2MC,...f→84*kMC)i..f→MCm=(f→1MC,f→2MC,...f→84*kMC)m]]>其中为动作数据库里第i个动作的特征，为动作数据库里第i个动作的第1维特征，为动作数据库里第i个动作的84*k维特征，i为1到m的正整数，共计m个动作的特征，m为正整数；步骤2：服务器端处理客户端提供的待检索动作，得到待检索动作特征，具体按照以下步骤实施：1)用户输入待检索动作MQ，服务器端对待检索动作MQ进行特征提取，首先读取关节点旋转角度信息，并用单位四元数描述；2)采用K‑means聚类算法对待检索动作降维，每k个最能代表动作的特征聚成一类，k为正整数，待检索动作是k*84维的特征，得到待检索动作的特征向量：f→MQ=(f→1MQ,f→2MQ,...f→84*kMQ),]]>其中为待检索动作的特征，为待检索动作的第1维特征，为待检索动作的第84*k维动作；步骤3：服务器端将待检索动作特征和动作特征数据库中的特征进行匹配，计算待检索动作和特征数据库中每个动作的距离值，将数据库中所有动作按照距离值从小到大排序输出，得到第一轮检索结果，具体为：1)将待查询动作特征与数据库特征进行距离计算，距离的计算公式如下：其中为该待检索动作特征与动作数据库里每个动作特征的距离值，共计m个距离值，m为正整数；2)将服务器端得到的距离值采用快速排序方法按照由低值向高值依次排序，输出前x个动作到客户端作为第一轮检索结果，x为正整数；步骤4：客户端将第一轮的检索结果进行“正例”和“反例”的人工标注学习，将标注后的第一轮检索结果信息返回服务器端，得到样本训练1和标签1，服务器端对样本训练1和标签1进行反馈学习，采用KNN‑Classify方法对运动数据特征库进行第二轮检索，具体为：1)对第一轮检索结果使用人工标签进行一次反馈学习，即正例标为“+1”共计x1个相关动作，x1为正整数，反例标为“‑1”共计x2个不相关动作，x2为正整数，得到第一次检索结果的训练样本1和标签1，并将学习结果记为N1＝{n1，n2，n3…nx}；2)第一轮的N1个检索结果采用人工标签均标为正例或反例，将标为反例结果的距离值乘以b，b>100，并按从小到大排序输出，b为正整数，进而采取有监督KNN‑Classify分类学习，得到第二轮检索结果；步骤5：用户满意第二轮检索结果则结束，不满意，客户端接着将第二轮的检索结果进行“正例”和“反例”的人工标注学习，将标注后的第二轮检索结果信息返回服务器端，得到样本训练2和标签2，服务器端对样本训练2和标签2进行反馈学习，采用KNN‑Classify方法对运动数据特征库进行第三轮检索，具体为：1)将第二轮检索结果使用人工标签继续反馈学习，即正例标为“+1”共计x3个相关动作，x3为正整数，反例标为“‑1”共计x4个不相关动作，x4为正整数，得到训练样本2和标签2，并将学习结果记为N2＝{n1，n2，n3…nx}；2)第二轮的N2个检索结果均标为正例或反例，将标为反例结果的距离值乘以b，b>100，并按从小到大排序输出，b为正整数，加入有监督的KNN‑Classify分类学习，得到第三轮检索结果；步骤6：用户满意第三轮检索结果，则结束，用户不满意则将训练样本1和训练样本2融合扩大训练样本，标签1和标签2融合，继续进行下一轮检索，依次类推，直到待检索运动与数据库里每个运动的距离值趋于稳定，停止迭代，输出检索结果。