[发明专利]一种文本大数据的查询处理方法

说明书

技术领域

本发明计算机应用技术领域，尤其是涉及一种文本大数据的查询处理方法。

背景技术

近些年，文本大数据上的查询处理已成为学术界和工业界的一个研究热点和重点。

Ciaccio AD等人指出传统的查询处理方法通常不适合管理和分析文本大数据，并提出3个改进方法TNL、CDCA和SFMAE来有效查询分析文本大数据。SysoevO等人基于steiner树理论，提出有效的近似最优算法来处理文本大数据上的多元单调回归问题。Laurila JK等人针对移动无线通讯网络中累积的文本大数据，设计了LDCC算法来有效分析用户的各通讯指标。Oliner A等人对网络的日志大数据进行一致性编码来有效优化用户的访问性能。Bennett J等人基于map-reduce计算模型，设计了UEQOT方法来提高文本大数据的查询处理效率。而Pébay P等人对文本大数据上的并行查询处理技术做了详细的综述。

在文本大数据的挖掘方面，大都研究工作通过扩展现有的方法来处理文本大数据。例如Zhou J等人、Chen L等人和JaBezdek JC等人分别对层次聚类、K-Mean聚类和Fuzzy C-Mean聚类进行了扩展。这类扩展算法基本上通过对文本大数据进行局部采样，并利用现有的算法(例如CLARA、CLARANS和BIRCH等)来完成数据挖掘过程，因此局部采样的机制在很大程度上影响全局数据挖掘的效果。另一方面，近些年，许多研究工作考虑分布式和并行实施文本大数据的数据挖掘。Chu C等人在多核处理器上基于简单的map-reduce编程模型实现了文本大数据的10类数据挖掘算法，包括局部加权线性回归、K-means聚类、逻辑回归、朴素贝叶斯、线性支持向量机、自变量分析、高斯判别式分析、期望最大化估计以及BP神经网络。Ranger C等人同样基于多核处理机系统，使用map-reduce编程模型实现了3类数据挖掘算法，包括K-means聚类、主成分分析依据线性回归。Gillick D等人基于Hadoop平台对大数据的各类数据挖掘算法进行了性能测试，并得出了map-reduce编程模型是目前最为适合的一种计算框架。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种便捷、准确的文本大数据的查询处理方法。

本发明的目的可以通过以下技术方案来实现：

一种文本大数据的查询处理方法，包括以下步骤：

1)规范文本大数据语义，该步骤包括：

11)构造文本大数据查询分析过程中所涉及的查询对象语义范式模型，通过不同级别范式的语义描述规范刻画各对象的语义描述程度；

12)；对不同的查询对象设计不同级别范式相互转化准则得到更为精确的语义描述；

2)建立指令解析与查询工作流模型，该步骤包括：

21)查询指令语义预解析，对查询指令初步解析，使其具备计算机可理解的基础形式；

22)构建查询指令语义模型；

23)指令语义精炼，使指令语义模型符合高级别的描述规范；

24)选择和重构查询工作流，通过底层数据库选取与对象模型相对应的模板实例；

25)查询工作流可靠性验证，利用大规模案例推理学习方法对所确定的结果进行验证；

3)查询过程控制和反馈结果，该步骤包括：

31)通过筛选查询方法模型，并且结合查询成功的历史查询方法模型选取符合工作流各环节需求的查询方法模型；

32)构造各环节候选查询方法模型的组合策略和规则来实现指令的正确查询；

33)评估查询置信度，建立“方法-指令”置信体系，通过查询历史，对每一个查询方法模型，评估它对不同类型指令的置信度；

34)构建查询工作链，根据查询工作流构建由使用过的查询方法模型构成的查询工作链；

35)计算查询工作链上的每一个工作流阶段的结果置信度；

36)全链全局置信度计算，并且进行全工作链的置信度全局排序评估，将置信度最高的结果反馈给用户。

所述的步骤1)中的语义范式模型包括文本内容语义范式模型CSNF、查询指令语义范式模型ISNF、查询方法语义范式模型MSNF和查询工作流语义范式模型FSNF。

所述的文本内容语义范式模型的转化准则包括1CSNF、2CSNF和3CSNF，分别判断可判定性、完备性和可计算性。