[发明专利]一种基于跨度表示的端到端的菜谱信息抽取方法及系统

说明书

本发明涉及一种基于跨度表示的端到端的菜谱信息抽取方法及系统，其方法包括：步骤S1：构建文本数据集；步骤S2：使用预训练语言模型获取文本数据集中每条文本语料向量；步骤S3：根据每条本语料向量，获取每条本语料中每个跨度向量；步骤S4：将每个跨度向量，输入神经网络，得到跨度向量的得分，并计算跨度向量的实体类型；步骤S5：取任一对跨度，将其对应的实体类型插入其所对应的文本，构建调整后的文本及其跨度向量，将调整后的跨度向量，输入神经网络，以判定二者对应关系。本发明提供的方法，从文本数据中联合抽取菜谱中的实体以及实体之间的对应关系，通过解决重叠实体问题，极大的提高菜谱文本数据的信息抽取的准确率。

技术领域

本发明涉及知识图谱领域，具体涉及一种基于跨度表示的端到端的菜谱信息抽取方法及系统。

背景技术

食品安全风险防控一直是大型赛事保障工作的重点，加强食品安全风险识别与防控对维护重大赛事的顺利举行，具有极其重要的意义。安全风险相关数据存在分布散乱，关联性不强等问题，具有多源头，多渠道，多环节的特点。知识图谱提供了一种更好管理、组织和理解海量信息的方法，其以如(鱼香肉丝，原料，肉丝)这样的三元组的形式描述客观世界中的概念、实体及其关系，具有强大的语义关联能力。菜谱知识图谱的构建，将菜谱相关的知识进行整合，关联成一个“语义网络”，并以可视化的形式呈现，为食品风险按防控工作提供底层数据支撑。

信息抽取包括命名实体识别和关系抽取，即从原始文本中识别出实体以及实体所属的类型同时判断出命名实体识别所识别出的实体之间的关系。信息抽取是构建知识图谱的关键一步同时也对下游自然语言处理任务，比如，问答、语义检索等任务起到支持作用。抽取质量直接影响整个知识图谱的质量。流水线式的方法是信息抽取中一种传统的方法，即先用一个模型进行命名实体识别，然后通过另一个模型进行关系抽取。鉴于这种流水线式的方法容易造成错误累积，端到端的信息抽取技术成为主流。如果一个实体对中的两个实体分别为鱼香肉丝和肉丝，这样的实体为重叠实体。在菜谱语料中存在大量像鱼香肉丝和肉丝这样的重叠实体，传统的端到端的方法对于解决重提实体问题效果并不突出。

发明内容

为了解决上述技术问题，本发明提供一种基于跨度表示的端到端的菜谱信息抽取方法及系统。

本发明技术解决方案为：一种基于跨度表示的端到端的菜谱信息抽取方法，包括：

步骤S1：构建文本数据集；

步骤S2：使用预训练语言模型获取所述文本数据集中每条文本语料向量；

步骤S3：根据每条所述文本语料向量，获取每条所述文本语料向量中每个跨度向量；

步骤S4：将所述每个跨度向量，输入神经网络，得到所述跨度向量的得分，并计算所述跨度向量的实体类型；

步骤S5：取任一对所述跨度，将其对应的实体类型插入其所对应的所述文本，构建调整后的文本及其跨度向量，将所述调整后的跨度向量，输入神经网络，以判定二者对应关系。

本发明与现有技术相比，具有以下优点：

本发明提供的方法通过一种端到端的模型，从文本数据中联合抽取菜谱中的实体以及实体之间的对应关系，将命名实体识别和关系分类转化为分类任务，能通过简单的前馈神经网络解决复杂的信息抽取任务。当一个实体包含于另一个实体中时，两个不同的实体属于不同的跨度，有不同的向量表示，能有效解决重叠实体问题，极大的提高菜谱文本数据的信息抽取的准确率。

附图说明

图1为本发明实施例中一种基于跨度表示的端到端的菜谱信息抽取方法的流程图；

图2为本发明实施例中一种基于跨度表示的端到端的菜谱信息抽取方法中步骤S3：根据每条文本语料向量，获取每条文本语料向量中每个跨度向量的流程图；