[发明专利]一种基于跨度表示的端到端的菜谱信息抽取方法及系统

权利要求书

1.一种基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，包括：

步骤S1：构建文本数据集；

步骤S2：使用预训练语言模型获取所述文本数据集中每条文本语料向量；

步骤S3：根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量；

步骤S4：将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算所述跨度向量的实体类型；

步骤S5：取任一对所述跨度，将其对应的实体类型插入其所对应的所述文本，构建调整后的文本及其跨度向量，将所述调整后的跨度向量，输入神经网络，以判定二者对应关系。

2.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S2：使用预训练语言模型获取所述文本数据集中每条文本语料向量，具体包括：

使用所述预训练语言模型对所述文本数据集中每条文本进行处理，得到所述每条文本语料向量；其中，所述文本表示为X＝{x₁，...，x_n}，所述文本语料向量表示为X＝{x₁，...，x_n}；

其中，xi是该条文本数据中第i个汉字的向量。

3.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S3：根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量，具体包括：

步骤S31：获得所述文本语料向量中所有跨度；其中，所述跨度为所述文本语料向量X＝{x₁，...，x_n}中，所有可能的汉字组合；所述跨度表示为S＝{s₁，...，s_m}，其中，s_i为该文本语料向量的第i个跨度，

步骤S32：构建所述跨度s_i的向量其中，x_START(i)表示s_i的起始位置向量，x_END(i)示跨度s_i的结束位置向量，表示s_i中所有向量的加权和，φ(i)是表示s_i大小的向量。

4.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S4：将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算得到所述跨度向量的实体类型，具体包括：

步骤S41：将每个所述跨度向量g_i，构建输入G＝{g₁，...，g_m}，输入神经网络，得到所述跨度向量得分；

步骤S42：根据所述跨度向量得分，计算得到所述跨度向量的实体类型e_i。

5.根据权利要求1所述的基于跨度表示的端到端的菜谱信息抽取方法，其特征在于，所述步骤S5：取任一对所述跨度，将其对应的实体类型插入其所对应的所述文本，构建调整后的文本及其跨度向量，将所述调整后的跨度向量，输入神经网络，以判定二者对应关系，具体包括：

步骤S51：取一对所述跨度s_i和s_j，将其对应的实体类型e_i和e_j插入所述文本中进行调整，则调整后的所述文本表示为：X^*＝{...，S：e_i，x_START(i)，...，x_end(i)，/S：ei，...，O：ej，xSTARTj，...，xendj，/O：ej，...；si*和sj*分别表示调整后的跨度，其对应的跨度向量表示分别为和其中表示S：e_i通过所述预训练语言模型后的输出向量，表示/S：e_i通过所述预训练语言模型后的输出向量，表示s_i^*大小的向量；的表示方法相同；

步骤S52：将所述调整后的跨度向量和构建输入并输入神经网络，以判定二者对应关系。

6.一种基于跨度表示的端到端的菜谱信息抽取系统，其特征在于，包括下述模块：

构建文本数据集模块，用于构建文本数据集；

构建文本语料向量模块，用于使用预训练语言模型获取所述文本数据集中每条文本语料向量；

构建跨度向量模块，用于根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量；

获取实体类型模块，用于将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算所述跨度向量的实体类型；

判定跨度向量关系模块，用于取任一对所述跨度，将其对应的实体类型插入其所对应的所述文本，构建调整后的文本及其跨度向量，将所述调整后的跨度向量，输入神经网络，以判定二者对应关系。