[发明专利]语义识别方法、装置、电子设备及存储介质

说明书

本公开提供了一种语义识别方法、装置、电子设备及存储介质，涉及计算机技术领域，具体涉及深度学习、自然语言处理等人工智能技术领域，包括：获取第一模态数据和第二模态数据，确定第一模态数据的第一语义表示，并确定第二模态数据的第二语义表示，再确定第一语义表示和第二语义表示之间的关联语义表示，以及根据第一语义表示、第二语义表示，以及关联语义表示识别第一模态数据和第二模态数据之间的目标共享语义，实现基于关联语义表示，对第一语义表示和第二语义表示进行细粒度的关联融合，从而能够识别得到更加准确，丰富的跨模态语义表示，有效地提升语义表示的通用性和泛化性，有效地提升语义识别效果。

技术领域

本公开涉及计算机技术领域，具体涉及深度学习、自然语言处理等人工智能技术领域，尤其涉及一种语义识别方法、装置、电子设备及存储介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

相关技术中，语义识别得到的语义表示缺乏通用性和泛化性，从而导致语义识别的效果不佳。

发明内容

本公开提供了一种语义识别方法、语义识别方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的第一方面，提供了一种语义识别方法，包括：获取第一模态数据和第二模态数据；确定所述第一模态数据的第一语义表示，并确定所述第二模态数据的第二语义表示；确定所述第一语义表示和所述第二语义表示之间的关联语义表示；以及根据所述第一语义表示、所述第二语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义

根据本公开的第二方面，提供了一种语义识别方法，包括：获取模块，用于获取第一模态数据和第二模态数据；第一确定模块，用于确定所述第一模态数据的第一语义表示，并确定所述第二模态数据的第二语义表示；第二确定模块，用于确定所述第一语义表示和所述第二语义表示之间的关联语义表示；以及识别模块，用于根据所述第一语义表示、所述第二语义表示，以及所述关联语义表示识别所述第一模态数据和所述第二模态数据之间的目标共享语义。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开第一方面所述的语义识别方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如本公开第一方面所述的语义识别方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面所述的语义识别方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图

图4是根据本公开实施例的图文对数据的语义识别方法的流程示意图；

图5根据本公开实施例的文本数据或者图像数据的语义识别方法的流程示意图；