[发明专利]基于表格数据的FAQ知识库自动构建方法和装置

权利要求书

1.一种基于表格数据的FAQ知识库自动构建方法，其特征在于，包括：

将表格数据区分为规范化表格和非规范化表格；

利用预先训练得到的SQL语句生成器和第一问题生成器，根据所述规范化表格生成第一问答对，包括：利用所述SQL语句生成器根据无标注的规范化表格生成SQL语句；利用所述第一问题生成器根据生成的所述SQL语句生成第一问题，所述第一问题与所述SQL语句的查询答案构成第一问答对；

利用预先训练得到的自然语句生成器和第二问题生成器，根据所述非规范化表格生成第二问答对，包括：利用所述自然语句生成器根据非规范化表格的行数据生成自然语句；将所述自然语句和作为答案的所述非规范化表格的单元格信息输入所述第二问题生成器，生成第二问答对；

对生成的第一问答对和第二问答对进行筛选，根据筛选出的问答对构建FAQ知识库；

其中，所述SQL语句生成器和第一问题生成器是基于第一训练数据集训练得到的，所述第一训练数据集包括规范化表格、问题和SQL语句；所述自然语句生成器和第二问题生成器是基于第二训练数据集训练得到的，所述第二训练数据集包括非规范化表格、问题和自然语句；

所述SQL语句生成器为改进的PointerNet模型，其在PointerNet模型的编码器中增加“列”通道、“值”通道、“SQL”通道和转换门控，其中，“列”通道用于预测列名，“值”通道用于预测表格单元格，“SQL”通道用于预测SQL关键词，转换门控用于选择生成SQL语句的通道。

2.如权利要求1所述的方法，其特征在于，所述第一问题生成器为将引入复制机制的GRU作为解码器的Seq2Seq模型。

3.如权利要求1所述的方法，其特征在于，所述第二问题生成器为包括引入注意力机制和Pointer-softmax 解码器的Seq2Seq模型。

4.一种基于表格数据的FAQ知识库自动构建装置，其特征在于，包括：

数据区分模块，用于将表格数据区分为规范化表格和非规范化表格；

第一问答对生成模块，用于利用预先训练得到的SQL语句生成器和第一问题生成器，根据所述规范化表格生成第一问答对，包括：利用所述SQL语句生成器根据无标注的规范化表格生成SQL语句；利用所述第一问题生成器根据生成的所述SQL语句生成第一问题，所述第一问题与所述SQL语句的查询答案构成第一问答对；所述SQL语句生成器和第一问题生成器是基于第一训练数据集训练得到的，所述第一训练数据集包括规范化表格、问题和SQL语句；

第二问答对生成模块，用于利用预先训练得到的自然语句生成器和第二问题生成器，根据所述非规范化表格生成第二问答对，包括：利用所述自然语句生成器根据非规范化表格的行数据生成自然语句；将所述自然语句和作为答案的所述非规范化表格的单元格信息输入所述第二问题生成器，生成第二问答对，所述自然语句生成器和第二问题生成器是基于第二训练数据集训练得到的，所述第二训练数据集包括非规范化表格、问题和自然语句；

质量控制模块，用于对生成的第一问答对和第二问答对进行筛选，根据筛选出的问答对构建FAQ知识库；

所述SQL语句生成器为改进的PointerNet模型，其在PointerNet模型的编码器中增加“列”通道、“值”通道、“SQL”通道和转换门控，其中，“列”通道用于预测列名，“值”通道用于预测表格单元格,“SQL”通道用于预测SQL关键词，转换门控用于选择生成SQL语句的通道。

5.一种存储器，其特征在于，存储有多条指令，所述指令用于实现如权利要求1-3任一项所述的方法。

6.一种电子设备，其特征在于，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1-3任一项所述的方法。