[发明专利]一种小样本集上的信息对匹配方法及系统

说明书

本发明公开了一种小样本集上的信息对匹配方法及系统，实现过程为：录入文本，识别文本中属性和属性对应值；两两构建语句中出现的属性和属性对应值的特征；构建训练样本；基于训练样本训练模型，构建信息对匹配模型。本发明在小样本的标注集上，基于句法路径进行特征构建，利用机器学习方法进行数据匹配，可高效获得高匹配准确性的模型，实现文档中结构信息的获取。

技术领域

本发明属于数据匹配技术领域，涉及信息对匹配方法及系统，特别涉及一种小样本集上的信息对匹配方法及系统。

背景技术

各个行业中存在大量非结构化数据。对于海量的数据，阅读量巨大，需要根据文档内容进行理解、判断、获得有用数据。由于文档中大量都是非结构化的数据，且写文档的人水平思路又不尽相同，造成人在获取信息过程中所有内容都需要进行理解查看，而实际需要重点关注的内容其实并不多，时间成本和人力成本浪费严重，且效率低下。因而，有必要从非结构化数据中抽取结构化数据，形成信息对，然后使得数据可以被更好的利用，特别地，在关注指标和指标对应数值的领域，提取结构化信息显得更为重要。如在财务报告中，存在着大量的非结构化信息，经常需要抽取各个指标与对应数值。

传统的信息对获取方法是以人为主的方法，随着信息技术近年以来的大力发展，利用机器算法获得信息对的方法逐渐产生。现有技术中的方法主要有：1)基于模版的抽取；2)利用信息对各相对位置关系，构建特殊词词典等判断是否有匹配；3)将问题抽象成分类模型，基于距离，词向量等特征，训练机器学习模型；4)利用DNN方法构建分类模型。

然而，上述方法均存在有一定问题。1)基于模版进行抽取：由于语言表达的多样性，很难用较少的模版来很好的覆盖所有情况，扩展性较差；2)利用信息对各相对位置关系，构建特殊词词典等判断是否有匹配：同样由于语言的表达的多样性，准确率和召回率很难同时达到较好的状况；3)将问题抽象成分类模型，基于距离，词向量等特征，训练机器学习模型：通常情况下基于句法路径的特征token(在词法分析中是标记的意思)较稀疏，使得模型在做特征选择时，存在大量无效特征样本；或者对数据量要求达到一定数量级后才能有明显的改善；同样由于语言语序问题，该方法的泛化能力也是有限的；4)利用DNN方法构建分类模型：得益于神经网络的参数多，表达能力强的特点，使得神经网络在大量样本集上会表现较好，但是在样本量较少的情况下很难保证其泛化能力。

基于上述问题，亟需研发一种信息对的匹配方法或系统，尤其是适用于小样本标注集(即小样本集)的信息对匹配方法或系统，准确获取文档中的信息对，以便提供简要、准确、重要结构化数据。

发明内容

为了克服上述问题，本发明人进行了锐意研究，提供了一种小样本集上的信息对匹配方法及系统，通过基于句法路径进行特征构建，训练模型，利用机器学习方法进行数据匹配。特别是在小样本标注集上，充分利用句法依存信息可以构建更加有效特征，进而获得高匹配准确性的模型，实现文档中结构信息的获取，从而完成本发明。

本发明的目的在于提供以下技术方案：

(1)一种小样本集上的信息对匹配方法，所述方法包括以下步骤：

步骤100，录入文本，识别文本中属性和属性对应值；

步骤200，两两构建语句中出现的属性和属性对应值的特征；

步骤300，构建训练样本；

步骤400，基于训练样本训练模型，构建信息对匹配模型。

(2)一种用于实现上述(1)所述方法的系统，所述系统包括：

信息识别模块：用于文本中属性和属性对应值；

特征构建模块：用于两两构建语句中出现的属性和属性对应值的特征；

训练样本构建模块，用于基于属性和属性对应值两两匹配的特征及标注样本集，构建训练样本；