[发明专利]基于移动视觉搜索的户外植物知识拓展学习系统

权利要求书

1.一种基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：包括移动终端和服务器端，

所述移动终端包括移动终端图像获取模块和知识资源加载模块，

移动终端图像获取模块，用于将通过移动终端拍摄的植物图像作为待查询的植物图像，对待查询的植物图像进行预处理和提取特征，上传到服务器端；所述对待查询的植物图像进行预处理，包括进行灰度化和二值化，实现增强植物图像的纯净度，缩小特征提取的计算量；所述提取特征，包括采用SIFT算法提取特征；

知识资源加载模块，用于接收服务器端返回的结果，加载该植物图像的知识资源以及相关的拓展学习资源；

所述服务器端包括户外植物知识内容管理数据库模块、户外植物特征提取与匹配模块，和户外植物知识内容适配决策与处理模块，

户外植物知识内容管理数据库模块，用于提供植物图像库、植物特征描述库和知识资源库，植物图像库用于存储植物图像，植物特征描述库用于存储对植物图像库中各植物图像提取特征并进行降维所得相应索引，知识资源库用于存储植物图像库中各植物图像相应的知识资源；所述对植物图像库中各植物图像提取特征并进行降维，实现方式包括以下步骤，

1)首先，对图像用SIFT方法做特征点的检测和提取，完成之后得到该图像的特征描述符；

2)然后对图像提取到的特征点用改进后的K-means算法做一个聚类，生成初始化类心，实现如下，

步骤一，提取图像的特征，得到图像特征点之后，采用ISODATA算法，通过类的自动合并和分裂，得到类型数目簇K；

步骤二，采用K-means++算法，为每个簇初始化选择一个类心；

步骤三，将图像生成的所有特征点与初始化设定的类心进行距离度量，按照距离的大小，将与类心之间距离较小的特征点放入该类心所在的簇中；

步骤四，将划分好的簇再重新计算一次类心；

步骤五，对初步得到的聚类结果采用均方差方法做评估，若这个结果波动较小己经趋向稳定状态就停止聚类，将所得结果输出；若是得到的结果波动较大则继续步骤三，重新进行聚类，直到所得结果趋向稳定为止；

3)生成每幅图像的BOW，包括将初始化的类心与图像的所有特征点进行度量，计算出特征点与哪个初始类心的距离最小，最小的话就放入相应初始类心，全部特征点判断完之后生成没有权重的频数表；

4)对3)所得没有权重的频数表，用TF-IDF加权法赋予权重，得到这个图像的最终BOW索引；

户外植物特征提取与匹配模块，用于待查询的植物图像与植物图像库所存储的植物图像进行匹配，包括对待查询的植物图像的特征进行降维得到索引，在植物特征描述库中进行检索，包括基于图像的索引进行相似度计算，实现比较图像的特征相似程度，完成图像之间的匹配；

所述户外植物知识内容适配决策与处理模块，用于根据匹配结果从知识资源库调用植物的知识资源，采取相应的适配处理并发送给移动终端。

2.根据权利要求1所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：基于图像的索引进行相似度计算，包括采用欧氏距离计量索引之间的距离。

3.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：所述知识资源包括植物相关的文本、图像、音频、视频和网页链接。

4.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：移动终端与服务器端之间发送和接收数据采用的是HTTP协议，移动终端向服务器端发送数据时是以MultiplePartEntity格式通过HTTP POST请求的，服务器将所收到的信息进行分析处理后封装成JSON格式，再通过HTTP协议返回到移动终端；移动终端接收服务器端返回的信息是通过HTTP GET以JSON格式接收的，并且在接收信息后将接收的JSON格式的信息做解析后显示到用户界面上。

5.根据权利要求1或2所述基于移动视觉搜索的户外植物知识拓展学习系统，其特征在于：为植物图像库所存储的植物图像预设id号，该id号与图像生成的特征值及由特征值建立的索引是一一对应的关系，且和知识资源库中相应的知识资源信息也建立关联；在植物特征描述库中基于索引检索成功后，根据匹配所得图像的id号将相关联的知识资源信息返回给移动端。