[发明专利]基于多模态关键信息匹配的食品安全风险识别方法及系统

权利要求书

1.一种基于多模态关键信息匹配的食品安全风险识别方法，其特征在于，所述方法包括：

步骤1，采集多种数据模态的食品风险信息，建立包含多种数据模态组合的风险信息数据库；

步骤2，收集食品溯源链条中各个环节的食品关键过程信息，形成带标签的食品关键信息溯源图谱，将所述风险信息数据库与所述食品关键信息溯源图谱进行匹配；所述标签由人工根据风险信息数据库中的公告和/或舆情信息添加,表示该食品关键信息溯源图谱是否与任意一条风险信息匹配；

步骤3，通过表示学习技术，预训练风险信息数据库和食品关键信息溯源图谱中的单模态编码器和多模态交互编码器，得到风险信息交互表示向量和食品关键信息表示向量；

步骤4，通过计算风险信息交互表示向量和食品关键信息表示向量的匹配概率，利用标签信息微调模型；

步骤5，将风险信息交互表示向量按风险发生频率和重要性分级存储，建立风险信息交互表示分级库，通过所述风险信息交互表示分级库查询待识别食品是否存在风险；

所述步骤3包括：

步骤301，对于任意一个模态k的单模态编码器f_k，分别随机隐藏对应单模态数据中的部分元素，利用数据内部的上下文关联，进行第一阶段训练，预测出隐藏的元素，损失函数为：

其中，S为输入单模态编码器的样本中被隐藏元素的集合，f_k(·)是单模态编码器输出的隐藏元素预测值，y_x为隐藏元素对应的真实值，φ为根据相应模态预测选定的衡量预测值与真实值差异的函数；

步骤302，对于多模态交互编码器f_m，随机隐藏共现模态数据中的部分元素，利用模态间的语义关联，进行第二阶段训练，预测出隐藏的元素，损失函数为：

其中，T为输入多模态交互编码器的样本中被隐藏元素的集合，f_m(·)是多模态交互编码器输出的隐藏元素预测值；

步骤303，分别利用池化操作，将所述多模态交互编码器f_m和所述食品关键信息溯源图谱的图编码器的输出压缩为一维的表示向量：风险信息交互表示向量h_R和食品关键信息表示向量h_G。

2.根据权利要求1所述的食品安全风险识别方法，其特征在于，所述步骤1包括：

步骤101，通过文字识别技术采集公开的多种数据模态的食品风险信息；所述多种数据模态包括文本和表格；

步骤102，将采集的食品风险信息通过机器翻译为同一语言种类；

步骤103，将采集的所述食品风险信息与本地自有的食品风险信息进行汇总，建立所述风险信息数据库。

3.根据权利要求1所述的食品安全风险识别方法，其特征在于，所述步骤2包括：

步骤201，收集所述食品溯源链条上种养殖、生产加工以及运输各个环节的所述食品关键过程信息，所述食品关键过程信息包括：温度、湿度、批次号以及原材料；

步骤202，汇总并提取所述关键过程信息，以图谱的形式储存所述食品溯源链条上各环节上的实体与关系，得到食品溯源图谱；

步骤203，标注出所述风险信息数据库中与食品溯源图谱匹配的食品安全风险信息。

4.根据权利要求1所述的食品安全风险识别方法，其特征在于，所述步骤4包括：

步骤401，通过预先选定的距离函数或多层感知机，计算所述风险信息交互表示向量h_R和食品关键信息表示向量h_G之间的匹配概率p(h_R,h_G)；

步骤402，利用标注的食品风险匹配信息微调模型，进行第三阶段训练，损失函数为：

其中，y∈{0,1}是表示食品溯源信息与风险信息匹配的标签。