+

CN114357164A - 情感-原因对抽取方法、装置、设备及可读存储介质 - Google Patents

情感-原因对抽取方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114357164A
CN114357164A CN202111639867.8A CN202111639867A CN114357164A CN 114357164 A CN114357164 A CN 114357164A CN 202111639867 A CN202111639867 A CN 202111639867A CN 114357164 A CN114357164 A CN 114357164A
Authority
CN
China
Prior art keywords
clause
emotion
reason
pair
vectorized representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111639867.8A
Other languages
English (en)
Other versions
CN114357164B (zh
Inventor
何发智
谭鸿昊
赵坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111639867.8A priority Critical patent/CN114357164B/zh
Publication of CN114357164A publication Critical patent/CN114357164A/zh
Application granted granted Critical
Publication of CN114357164B publication Critical patent/CN114357164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本发明提供一种情感‑原因对抽取方法、装置、设备及可读存储介质，所述情感‑原因对抽取方法包括：获取自然语言文本的待预测文档后，利用预训练的语言模型来获取文档中子句的语义表示，并使用训练完成的情感‑原因对抽取模型来抽取得到文档中的情感‑原因对。其中，情感‑原因对抽取模型包括多层融合了高斯先验的注意力模块。在情感‑原因对抽取模型训练过程中，计算得到进行子句类型预测与进行情感‑原因对预测时的联合损失值，用联合损失值梯度更新情感‑原因对抽取模型的参数，直到联合损失值收敛，结束训练，得到训练完成的情感‑原因对抽取模型。本发明充分捕获了文档中子句间的相对位置信息，可以自动抽取得到文档中潜在的情感‑原因对。

Description

情感-原因对抽取方法、装置、设备及可读存储介质
技术领域
本发明涉及自然语言处理领域，尤其涉及一种情感-原因对抽取方法、装置、设备及可读存储介质。
背景技术
情感-原因对抽取是一项自然语言处理领域的任务，旨在从篇章级别的文档当中自动抽取其中的情感子句和其对应原因子句。其中文档由数个子句构成，子句被定义为由逗号等符号隔开的短句，区别于由句号隔开的整句。情感-原因对抽取的应用场景很广泛，包括社交媒体挖掘以及产品评论分析等。鉴于其重要性，越来越多的研究者开始关注情感-原因对抽取。
在一篇文档中，情感子句和其对应的原因子句蕴含了大量的语音信息，有着很高的研究价值。目前已有情感-原因对抽取算法均没有充分考虑情感子句与原因子句之间相对位置的重要性，或仅仅使用了简单的位置嵌入来捕获位置信息。
发明内容
本发明的主要目的在于提供一种情感-原因对抽取方法、装置、设备及可读存储介质，旨在解决现有技术中，篇章级别情感-原因对抽取方法中需要人工构造大量文本特征、子句间相对位置信息利用不充分导致情感-原因对捕获能力差的技术问题。
第一方面，本发明提供一种情感-原因对抽取方法，所述情感-原因对抽取方法包括以下步骤：
将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
将所述每个子句的向量化表示输入到训练完成的情感-原因对抽取模型中，基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对；
所述基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
可选的，所述基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示的步骤包括：
将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000021
其中，si为子句i的第一向量化表示，ci为子句i的向量化表示，cj为待预测文档中非子句i的任一子句的向量化表示，di,j为ci与cj的距离，
Figure BDA0003443138190000022
为高斯先验，∝1和b1为训练参数。
可选的，所述基于所述每个子句的第一向量化表示预测每个子句的类型的步骤包括：
将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：
Figure BDA0003443138190000023
其中，
Figure BDA0003443138190000024
为子句i的类型预测值，si为子句i的第一向量化表示，Ws和bs为训练参数。
可选的，所述基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示的步骤包括：
将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高斯先验的交叉注意力模块的公式表示为：
Figure BDA0003443138190000031
Figure BDA0003443138190000032
其中，
Figure BDA0003443138190000033
为情感子句集中子句i的第二向量化表示，
Figure BDA0003443138190000034
为情感子句集中子句i的第一向量化表示，
Figure BDA0003443138190000035
为原因子句集中子句j的第二向量化表示，
Figure BDA0003443138190000036
为原因子句集中子句j的第一向量化表示，di,j、dj,i为
Figure BDA0003443138190000037
与
Figure BDA0003443138190000038
的距离，
Figure BDA0003443138190000039
为高斯先验，∝2和b2、∝3和b3为训练参数。
可选的，所述基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示的步骤包括：
将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
Figure BDA00034431381900000310
其中，
Figure BDA00034431381900000311
为候选子句对的新的向量化表示，hi,j为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，hi,m为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，dj,m为原因子句j与原因子句集中任一子句间的距离，
Figure BDA00034431381900000312
为高斯先验，∝4和b4为训练参数。
可选的，所述根据每个候选子句对的新的向量化表示进行情感-原因对的预测的步骤包括：
将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
Figure BDA00034431381900000313
其中，
Figure BDA0003443138190000041
为子句i与子句j构成的候选子句对的新的向量化表示的预测值，
Figure BDA0003443138190000042
为候选子句对的新的向量化表示，Wh和bh为训练参数。
可选的，所述情感-原因对抽取方法还包括：
将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示；
将所述每个子句的向量化表示输入情感-原因对抽取模型中，基于所述情感-原因对抽取模型得到联合损失；
根据所述联合损失梯度更新所述情感-原因对抽取模型的训练参数；
检测联合损失是否收敛；
若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示的步骤；
若联合损失收敛，以最新的情感-原因对抽取模型作为训练完成的情感-原因对抽取模型；
所述基于所述情感-原因对抽取模型得到联合损失的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
将每个子句的类型预测值以及类型标签值输入到第一损失函数公式中，得到第一损失，所述第一损失函数公式为：
Figure BDA0003443138190000043
其中，Lclause为第一损失，n为训练文档中的子句数量，
Figure BDA0003443138190000044
为子句i的情感子句类型标签值，
Figure BDA0003443138190000045
为子句i的情感子句类型预测值，
Figure BDA0003443138190000046
为子句i的原因子句类型标签值，
Figure BDA0003443138190000047
为子句i的原因子句类型预测值；
基于融合高斯先验的交叉注意力模块，得到更新后的情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述训练文档中的情感-原因对；
将每个候选子句对的情感-原因对的预测值以及情感-原因对的标签值输入到第二损失函数公式中，得到第二损失，所述第二损失函数公式为：
Figure BDA0003443138190000051
其中，Lpair为第二损失，n为训练文档中的子句数量，
Figure BDA0003443138190000052
为候选子句对的情感-原因对的标签值，ui,j为候选子句对的情感-原因对的预测值；
组合第一损失以及第二损失得到联合损失。
第二方面，本发明还提供一种情感-原因对抽取装置，所述情感-原因对抽取装置包括：
子句向量化表示模块，用于将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
情感-原因对预测模块，用于将所述每个子句的向量化表示输入到训练完成的情感-原因对抽取模型中，基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对；
所述基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
可选的，所述情感-原因对预测模块，具体用于：
将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000061
其中，si为子句i的第一向量化表示，ci为子句i的向量化表示，cj为待预测文档中非子句i的任一子句的向量化表示，di,j为ci与cj的距离，
Figure BDA0003443138190000062
为高斯先验，∝1和b1为训练参数。
可选的，所述情感-原因对预测模块，具体用于：
将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：
Figure BDA0003443138190000063
其中，
Figure BDA0003443138190000064
为子句i的类型预测值，si为子句i的第一向量化表示，Ws和bs为训练参数。
可选的，所述情感-原因对预测模块，具体用于：
将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高斯先验的交叉注意力模块的公式表示为：
Figure BDA0003443138190000065
Figure BDA0003443138190000066
其中，
Figure BDA0003443138190000067
为情感子句集中子句i的第二向量化表示，
Figure BDA0003443138190000068
为情感子句集中子句i的第一向量化表示，
Figure BDA0003443138190000069
为原因子句集中子句j的第二向量化表示，
Figure BDA00034431381900000610
为原因子句集中子句j的第一向量化表示，di,j、dj,i为
Figure BDA00034431381900000611
与
Figure BDA00034431381900000612
的距离，
Figure BDA0003443138190000071
为高斯先验，∝2和b2、∝3和b3为训练参数。
可选的，所述情感-原因对预测模块，具体用于：
将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000072
其中，
Figure BDA0003443138190000073
为候选子句对的新的向量化表示，hi,j为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，hi,m为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，dj,m为原因子句j与原因子句集中任一子句间的距离，
Figure BDA0003443138190000074
为高斯先验，∝4和b4为训练参数。
可选的，所述情感-原因对预测模块，具体用于：
将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
Figure BDA0003443138190000075
其中，
Figure BDA0003443138190000076
为子句i与子句j构成的候选子句对的新的向量化表示的预测值，
Figure BDA0003443138190000077
为候选子句对的新的向量化表示，Wh和bh为训练参数。
可选的，所述情感-原因对抽取装置，还包括训练模块，具体用于：
将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示；
将所述每个子句的向量化表示输入情感-原因对抽取模型中，基于所述情感-原因对抽取模型得到联合损失；
根据所述联合损失梯度更新所述情感-原因对抽取模型的训练参数；
检测联合损失是否收敛；
若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示的步骤；
若联合损失收敛，以最新的情感-原因对抽取模型作为训练完成的情感-原因对抽取模型；
所述基于所述情感-原因对抽取模型得到联合损失的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
将每个子句的类型预测值以及类型标签值输入到第一损失函数公式中，得到第一损失，所述第一损失函数公式为：
Figure BDA0003443138190000081
其中，Lclause为第一损失，n为训练文档中的子句数量，
Figure BDA0003443138190000082
为子句i的情感子句类型标签值，
Figure BDA0003443138190000083
为子句i的情感子句类型预测值，
Figure BDA0003443138190000084
为子句i的原因子句类型标签值，
Figure BDA0003443138190000085
为子句i的原因子句类型预测值；
基于融合高斯先验的交叉注意力模块，得到更新后的情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述训练文档中的情感-原因对；
将每个候选子句对的情感-原因对的预测值以及情感-原因对的标签值输入到第二损失函数公式中，得到第二损失，所述第二损失函数公式为：
Figure BDA0003443138190000086
其中，Lpair为第二损失，n为训练文档中的子句数量，
Figure BDA0003443138190000087
为候选子句对的情感-原因对的标签值，ui,j为候选子句对的情感-原因对的预测值；
组合第一损失以及第二损失得到联合损失。
第三方面，本发明还提供一种情感-原因对抽取设备，所述情感-原因对抽取设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的情感-原因对抽取程序，其中所述情感-原因对抽取程序被所述处理器执行时，实现如上述所述的情感-原因对抽取方法的步骤。
第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有情感-原因对抽取程序，其中所述情感-原因对抽取程序被处理器执行时，实现如上述所述的情感-原因对抽取方法的步骤。
本发明中，获取自然语言文本的待预测文档后，利用预训练的语言模型来获取文档中子句的语义表示，并使用训练完成的情感-原因对抽取模型来抽取得到文档中的情感-原因对。其中，情感-原因对抽取模型包括多层融合了高斯先验的注意力模块。在情感-原因对抽取模型训练过程中，计算得到进行子句类型预测与进行情感-原因对预测时的联合损失值，用联合损失值梯度更新情感-原因对抽取模型的参数，直到联合损失值收敛，结束训练得到训练完成的情感-原因对抽取模型。本发明充分捕获了文档中子句间的相对位置信息，可以自动抽取得到文档中潜在的情感-原因对。
附图说明
图1为本发明实施例方案中涉及的情感-原因对抽取设备的硬件结构示意图；
图2为本发明情感-原因对抽取方法一实施例的流程示意图；
图3为本发明情感-原因对抽取方法又一实施例的流程示意图；
图4为本发明情感-原因对抽取方法再一实施例的流程示意图；
图5为本发明情感-原因对抽取装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供一种情感-原因对抽取设备。
参照图1，图1为本发明实施例方案中涉及的情感-原因对抽取设备的硬件结构示意图。本发明实施例中，情感-原因对抽取设备可以包括处理器1001(例如中央处理器Central Processing Unit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random access memory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及情感-原因对抽取程序。其中，处理器1001可以调用存储器1005中存储的情感-原因对抽取程序，并执行本发明实施例提供的情感-原因对抽取方法。
第二方面，本发明实施例提供了一种情感-原因对抽取方法。
参照图2，图2为本发明情感-原因对抽取方法一实施例的流程示意图。
在本发明情感-原因对抽取方法一实施例中，情感-原因对抽取方法包括：
步骤S10，将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
本实施例中，选用ECPE任务提出者贡献的公开数据集，从其文本格式文件中解析出篇章文档以及各个子句，以篇章为单位将公开数据集中文本格式文件划分为训练集、验证集、测试集。在输入到对应的语言模型中之前，将训练集、验证集、测试集的文档中自然语言文本构造成语言模型所需要的输入格式，在文本中子句首加上[CLS]标记，在文本中子句尾加上[SEP]标记。实例化BERT语言模型，并加载预先使用大规模预先训练好的模型参数，得到预训练完成的BERT语言模型。使用预训练完成的BERT语言模型的分词器对子句进行分词，得到待预测文档中子句的各个单词的向量化，将验证集中的待预测文档中子句的各个单词的向量化输入到预训练完成的BERT语言模型中，得到所述待预测文档中各子句的向量化表示。
步骤S20，将所述每个子句的向量化表示输入到训练完成的情感-原因对抽取模型中，基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对；
具体的，所述基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对由下述步骤实现：
步骤S201，基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
本实施例中，参照图3，图3为本发明情感-原因对抽取方法又一实施例的流程示意图。将步骤S10所得的待预测文档中各子句的向量化表示输入到训练完成的情感-原因对抽取模型中，其中，基于情感-原因对抽取模型中的第一融合高斯先验的自注意力模块，使得每个子句都融合文档中其他子句的信息，并对子句内部进行自注意力计算，得到子句的第一次更新后的向量化表示，即每个子句的第一向量化表示。
进一步地，一实施例中，所述步骤S201包括：
将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000111
其中，si为子句i的第一向量化表示，ci为子句i的向量化表示，cj为待预测文档中非子句i的任一子句的向量化表示，di,j为ci与cj的距离，
Figure BDA0003443138190000112
为高斯先验，∝1和b1为训练参数。
本实施例中，将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000113
其中，si为子句i的第一向量化表示，ci为子句i的向量化表示，cj为待预测文档中非子句i的任一子句的向量化表示，di,j为ci与cj的距离，
Figure BDA0003443138190000114
为高斯先验，∝1和b1为训练参数。
步骤S202，基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
本实施例中，获取步骤S201中所得的第一向量化表示，基于所得每个子句的第一向量化表示来预测每个子句的类型，子句类型包括原因子句与情感子句。基于所得的类型预测值，将待预测文档中的子句进行划分，得到若干情感子句与若干原因子句，其中，若干情感子句形成情感子句集，若干原因子句形成原因子句集。
进一步地，一实施例中，所述基于所述每个子句的第一向量化表示预测每个子句的类型的步骤包括：
将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：
Figure BDA0003443138190000121
其中，
Figure BDA0003443138190000122
为子句i的类型预测值，si为子句i的第一向量化表示，Ws和bs为训练参数。
本实施例中，基于所述每个子句的第一向量化表示预测每个子句的类型，可以通过将每个子句的第一向量化表示输入第一预测公式来计算类型预测值，第一预测公式为：
Figure BDA0003443138190000123
其中，
Figure BDA0003443138190000124
为子句i的类型预测值，si为子句i的第一向量化表示，Ws和bs为训练参数。
步骤S203，基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
本实施例中，基于步骤S202可以得到待预测文档中情感子句集与原因子句集，基于融合高斯先验的交叉注意力模块，获取情感子句集中的各情感子句，捕获情感子句与原因子句的距离信息，使情感子句集中的情感子句融合原因子句集中的各原因子句的子句信息，得到情感子句集每个子句的第二向量化表示。基于融合高斯先验的交叉注意力模块，获取原因子句集中的各原因子句，捕获原因子句与情感子句的距离信息，使原因子句集中的原因子句融合情感子句集中的各情感子句的子句信息，得到原因子句集每个子句的第二向量化表示。
进一步地，一实施例中，所述步骤S203包括：
将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高斯先验的交叉注意力模块的公式表示为：
Figure BDA0003443138190000131
Figure BDA0003443138190000132
其中，
Figure BDA0003443138190000133
为情感子句集中子句i的第二向量化表示，
Figure BDA0003443138190000134
为情感子句集中子句i的第一向量化表示，
Figure BDA0003443138190000135
为原因子句集中子句j的第二向量化表示，
Figure BDA0003443138190000136
为原因子句集中子句j的第一向量化表示，di,j、dj,i为
Figure BDA0003443138190000137
与
Figure BDA0003443138190000138
的距离，
Figure BDA0003443138190000139
为高斯先验，∝2和b2、∝3和b3为训练参数。
本实施例中，将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，针对情感子句的融合高斯先验的交叉注意力模块的公式表示为：
Figure BDA00034431381900001310
针对原因子句的融合高斯先验的交叉注意力模块的公式表示为：
Figure BDA00034431381900001311
Figure BDA00034431381900001312
其中，
Figure BDA00034431381900001313
为情感子句集中子句i的第二向量化表示，
Figure BDA00034431381900001314
为情感子句集中子句i的第一向量化表示，
Figure BDA00034431381900001315
为原因子句集中子句j的第二向量化表示，
Figure BDA00034431381900001316
为原因子句集中子句j的第一向量化表示，di,j、dj,i为
Figure BDA00034431381900001317
与
Figure BDA00034431381900001318
的距离，
Figure BDA00034431381900001319
为高斯先验，∝2和b2、∝3和b3为训练参数。
步骤S204，对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
本实施例中，获取步骤S203所得的情感子句集与原因子句集中各子句的第二次更新后的第二向量化表示，对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示。其中，笛卡尔积的计算公式为：
Figure BDA00034431381900001320
其中，hi,j为进行一一拼接操作所得的候选子句对的向量化表示，
Figure BDA00034431381900001321
为情感子句集中每个子句的第二向量化表示，
Figure BDA00034431381900001322
为原因子句集中每个子句的第二向量化表示。
步骤S205，基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
本实施例中，获取步骤S205所得的每个候选子句对的向量化表示，基于第二融合高斯先验的自注意力模块，使每个候选子句对融合文档中其他候选子句对的信息，并对候选子句对内部进行自注意力计算，得到每个候选子句对的新的向量化表示。
进一步地，一实施例中，所述步骤S205包括：
将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000141
其中，
Figure BDA0003443138190000142
为候选子句对的新的向量化表示，hi,j为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，hi,m为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，dj,m为原因子句j与原因子句集中任一子句间的距离，
Figure BDA0003443138190000143
为高斯先验，∝4和b4为训练参数。
本实施例中，将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000144
Figure BDA0003443138190000145
其中，
Figure BDA0003443138190000146
为候选子句对的新的向量化表示，hi,j为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，hi,m为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，dj,m为原因子句j与原因子句集中任一子句间的距离，
Figure BDA0003443138190000147
为高斯先验，∝4和b4为训练参数。
步骤S206，根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
本实施例中，获取步骤S205所得的候选子句对的新的向量化表示，根据每个候选子句对的新的向量化表示进行情感-原因对的预测，候选子句对的类型包括情感-原因对与非情感-原因对。并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
进一步地，一实施例中，所述根据每个候选子句对的新的向量化表示进行情感-原因对的预测的步骤包括：
将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
Figure BDA0003443138190000151
其中，
Figure BDA0003443138190000152
为子句i与子句j构成的候选子句对的新的向量化表示的预测值，
Figure BDA0003443138190000153
为候选子句对的新的向量化表示，Wh和bh为训练参数。
本实施例中，将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
Figure BDA0003443138190000154
其中，
Figure BDA0003443138190000155
为子句i与子句j构成的候选子句对的新的向量化表示的预测值，
Figure BDA0003443138190000156
为候选子句对的新的向量化表示，Wh和bh为训练参数。
进一步地，一实施例中，所述情感-原因对抽取方法还包括：
步骤S1，将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示；
步骤S2，将所述每个子句的向量化表示输入情感-原因对抽取模型中，基于所述情感-原因对抽取模型得到联合损失；
步骤S3，根据所述联合损失梯度更新所述情感-原因对抽取模型的训练参数；
步骤S4，检测联合损失是否收敛；
若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行步骤S1；
步骤S5，若联合损失收敛，以最新的情感-原因对抽取模型作为训练完成的情感-原因对抽取模型；
具体的，所述基于所述情感-原因对抽取模型得到联合损失由下述步骤实现：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
将每个子句的类型预测值以及类型标签值输入到第一损失函数公式中，得到第一损失，所述第一损失函数公式为：
Figure BDA0003443138190000161
其中，Lclause为第一损失，n为训练文档中的子句数量，
Figure BDA0003443138190000162
为子句i的情感子句类型标签值，
Figure BDA0003443138190000163
为子句i的情感子句类型预测值，
Figure BDA0003443138190000164
为子句i的原因子句类型标签值，
Figure BDA0003443138190000165
为子句i的原因子句类型预测值；
基于融合高斯先验的交叉注意力模块，得到更新后的情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述训练文档中的情感-原因对；
将每个候选子句对的情感-原因对的预测值以及情感-原因对的标签值输入到第二损失函数公式中，得到第二损失，所述第二损失函数公式为：
Figure BDA0003443138190000166
其中，Lpair为第二损失，n为训练文档中的子句数量，
Figure BDA0003443138190000167
为候选子句对的情感-原因对的标签值，ui,j为候选子句对的情感-原因对的预测值；
组合第一损失以及第二损失得到联合损失。
本实施例中，参照图4，图4为本发明情感-原因对抽取方法再一实施例的流程示意图。将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示。将所述每个子句的向量化表示输入情感-原因对抽取模型中，基于所述情感-原因对抽取模型得到联合损失。具体的，所述基于所述情感-原因对抽取模型得到联合损失由下述步骤实现：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示。基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集。将每个子句的类型预测值以及类型标签值输入到第一损失函数公式中，得到第一损失，所述第一损失函数公式为：
Figure BDA0003443138190000171
其中，Lclause为第一损失，n为训练文档中的子句数量，
Figure BDA0003443138190000172
为子句i的情感子句类型标签值，
Figure BDA0003443138190000173
为子句i的情感子句类型预测值，
Figure BDA0003443138190000174
为子句i的原因子句类型标签值，
Figure BDA0003443138190000175
为子句i的原因子句类型预测值。
基于融合高斯先验的交叉注意力模块，得到更新后的情感子句集与原因子句集中每个子句的第二向量化表示。对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示。基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示。根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述训练文档中的情感-原因对。将每个候选子句对的情感-原因对的预测值以及情感-原因对的标签值输入到第二损失函数公式中，得到第二损失，所述第二损失函数公式为：
Figure BDA0003443138190000176
Figure BDA0003443138190000177
其中，Lpair为第二损失，n为训练文档中的子句数量，
Figure BDA0003443138190000178
为候选子句对的情感-原因对的标签值，ui,j为候选子句对的情感-原因对的预测值。组合第一损失以及第二损失得到联合损失。
根据所述联合损失梯度更新所述情感-原因对抽取模型的训练参数。其中，训练参数包括第一融合高斯先验的自注意力模块的训练参数：∝1和b1，融合高斯先验的交叉注意力模块的训练参数：∝2和b2、∝3和b3，第二融合高斯先验的自注意力模块的∝4和b4，进行子句类型预测的训练参数：Ws和bs，进行情感-原因对预测的训练参数：Wh和bh。检测联合损失是否收敛。若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示的步骤；若联合损失收敛，以最新的情感-原因对抽取模型作为训练完成的情感-原因对抽取模型。
本实施例中，获取自然语言文本的待预测文档后，利用预训练的语言模型来获取文档中子句的语义表示，并使用训练完成的情感-原因对抽取模型来抽取得到文档中的情感-原因对。其中，情感-原因对抽取模型包括多层融合了高斯先验的注意力模块。在情感-原因对抽取模型训练过程中，计算得到进行子句类型预测与进行情感-原因对预测时的联合损失值，用联合损失值梯度更新情感-原因对抽取模型的参数，直到联合损失值收敛，结束训练得到训练完成的情感-原因对抽取模型。本发明充分捕获了文档中子句间的相对位置信息，可以自动抽取得到文档中潜在的情感-原因对。相比以往方法，本发明为一个端到端模型而非分步模型，避免了错误传播等问题，且能够抽取篇章级别的文本文档中隐含的情感-原因对，更贴近实际应用情景，更具实用价值。
第三方面，本发明实施例还提供一种情感-原因对抽取装置。
参照图5，情感-原因对抽取装置一实施例的功能模块示意图。
本实施例中，所述情感-原因对抽取装置包括：
子句向量化表示模块10，用于将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
情感-原因对预测模块20，用于将所述每个子句的向量化表示输入到训练完成的情感-原因对抽取模型中，基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对；
所述基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
进一步，一实施例中，所述情感-原因对预测模块20，具体用于：
将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000191
其中，si为子句i的第一向量化表示，ci为子句i的向量化表示，cj为待预测文档中非子句i的任一子句的向量化表示，di,j为ci与cj的距离，
Figure BDA0003443138190000192
为高斯先验，∝1和b1为训练参数。
进一步，一实施例中，所述情感-原因对预测模块20，具体用于：
将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：
Figure BDA0003443138190000193
其中，
Figure BDA0003443138190000194
为子句i的类型预测值，si为子句i的第一向量化表示，Ws和bs为训练参数。
进一步，一实施例中，所述情感-原因对预测模块20，具体用于：
将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高斯先验的交叉注意力模块的公式表示为：
Figure BDA0003443138190000195
Figure BDA0003443138190000196
其中，
Figure BDA0003443138190000197
为情感子句集中子句i的第二向量化表示，
Figure BDA0003443138190000198
为情感子句集中子句i的第一向量化表示，
Figure BDA0003443138190000199
为原因子句集中子句j的第二向量化表示，
Figure BDA00034431381900001910
为原因子句集中子句j的第一向量化表示，di,j、dj,i为
Figure BDA00034431381900001911
与
Figure BDA00034431381900001912
的距离，
Figure BDA00034431381900001913
为高斯先验，∝2和b2、∝3和b3为训练参数。
进一步，一实施例中，所述情感-原因对预测模块20，具体用于：
将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
Figure BDA0003443138190000201
其中，
Figure BDA0003443138190000202
为候选子句对的新的向量化表示，hi,j为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，hi,m为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，dj,m为原因子句j与原因子句集中任一子句间的距离，
Figure BDA0003443138190000203
为高斯先验，∝4和b4为训练参数。
进一步，一实施例中，所述情感-原因对预测模块20，具体用于：
将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
Figure BDA0003443138190000204
其中，
Figure BDA0003443138190000205
为子句i与子句j构成的候选子句对的新的向量化表示的预测值，
Figure BDA0003443138190000206
为候选子句对的新的向量化表示，Wh和bh为训练参数。
进一步，一实施例中，所述情感-原因对抽取装置，还包括训练模块，具体用于：
将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示；
将所述每个子句的向量化表示输入情感-原因对抽取模型中，基于所述情感-原因对抽取模型得到联合损失；
根据所述联合损失梯度更新所述情感-原因对抽取模型的训练参数；
检测联合损失是否收敛；
若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示的步骤；
若联合损失收敛，以最新的情感-原因对抽取模型作为训练完成的情感-原因对抽取模型；
所述基于所述情感-原因对抽取模型得到联合损失的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
将每个子句的类型预测值以及类型标签值输入到第一损失函数公式中，得到第一损失，所述第一损失函数公式为：
Figure BDA0003443138190000211
其中，Lclause为第一损失，n为训练文档中的子句数量，
Figure BDA0003443138190000212
为子句i的情感子句类型标签值，
Figure BDA0003443138190000213
为子句i的情感子句类型预测值，
Figure BDA0003443138190000214
为子句i的原因子句类型标签值，
Figure BDA0003443138190000215
为子句i的原因子句类型预测值；
基于融合高斯先验的交叉注意力模块，得到更新后的情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述训练文档中的情感-原因对；
将每个候选子句对的情感-原因对的预测值以及情感-原因对的标签值输入到第二损失函数公式中，得到第二损失，所述第二损失函数公式为：
Figure BDA0003443138190000216
其中，Lpair为第二损失，n为训练文档中的子句数量，
Figure BDA0003443138190000217
为候选子句对的情感-原因对的标签值，ui,j为候选子句对的情感-原因对的预测值；
组合第一损失以及第二损失得到联合损失。
其中，上述情感-原因对抽取装置中各个模块的功能实现与上述情感-原因对抽取方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有情感-原因对抽取程序，其中所述情感-原因对抽取程序被处理器执行时，实现如上述的情感-原因对抽取方法的步骤。
其中，情感-原因对抽取程序被执行时所实现的方法可参照本发明情感-原因对抽取方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种情感-原因对抽取方法，其特征在于，所述情感-原因对抽取方法包括：
将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
将所述每个子句的向量化表示输入到训练完成的情感-原因对抽取模型中，基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对；
所述基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
2.如权利要求1所述的情感-原因对抽取方法，其特征在于，所述基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示的步骤包括：
将每个子句的向量化表示输入第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示，其中，第一融合高斯先验的自注意力模块的公式表示为：
Figure FDA0003443138180000021
其中，si为子句i的第一向量化表示，ci为子句i的向量化表示，cj为待预测文档中非子句i的任一子句的向量化表示，di,j为ci与cj的距离，
Figure FDA0003443138180000022
为高斯先验，∝1和b1为训练参数。
3.如权利要求1所述的情感-原因对抽取方法，其特征在于，所述基于所述每个子句的第一向量化表示预测每个子句的类型的步骤包括：
将每个子句的第一向量化表示输入第一预测公式，第一预测公式为：
Figure FDA0003443138180000023
其中，
Figure FDA0003443138180000024
为子句i的类型预测值，si为子句i的第一向量化表示，Ws和bs为训练参数。
4.如权利要求1所述的情感-原因对抽取方法，其特征在于，所述基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示的步骤包括：
将情感子句集与原因子句集中每个子句的第一向量化表示输入到融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示，其中，融合高斯先验的交叉注意力模块的公式表示为：
Figure FDA0003443138180000025
Figure FDA0003443138180000026
其中，
Figure FDA0003443138180000027
为情感子句集中子句i的第二向量化表示，
Figure FDA0003443138180000028
为情感子句集中子句i的第一向量化表示，
Figure FDA0003443138180000029
为原因子句集中子句j的第二向量化表示，
Figure FDA00034431381800000210
为原因子句集中子句j的第一向量化表示，di,j、dj,i为
Figure FDA00034431381800000211
与
Figure FDA00034431381800000212
的距离，
Figure FDA00034431381800000213
为高斯先验，∝2和b2、∝3和b3为训练参数。
5.如权利要求1所述的情感-原因对抽取方法，其特征在于，所述基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示的步骤包括：
将每个候选子句对的向量化表示输入到第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示，其中，第二融合高斯先验的自注意力模块的公式表示为：
Figure FDA0003443138180000031
其中，
Figure FDA0003443138180000032
为候选子句对的新的向量化表示，hi,j为情感子句i和原因子句j构成的候选子句对的向量化表示，n为待预测文档中的子句数量，hi,m为情感子句i和原因子句集中任一子句构成的候选子句对的向量化表示，dj,m为原因子句j与原因子句集中任一子句间的距离，
Figure FDA0003443138180000033
为高斯先验，∝4和b4为训练参数。
6.如权利要求1所述的情感-原因对抽取方法，其特征在于，所述根据每个候选子句对的新的向量化表示进行情感-原因对的预测的步骤包括：
将候选子句对的新的向量化表示输入到第二预测公式，第二预测公式为：
Figure FDA0003443138180000034
其中，
Figure FDA0003443138180000035
为子句i与子句j构成的候选子句对的新的向量化表示的预测值，
Figure FDA0003443138180000036
为候选子句对的新的向量化表示，Wh和bh为训练参数。
7.如权利要求1所述的情感-原因对抽取方法，其特征在于，所述情感-原因对抽取方法还包括：
将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示；
将所述每个子句的向量化表示输入情感-原因对抽取模型中，基于所述情感-原因对抽取模型得到联合损失；
根据所述联合损失梯度更新所述情感-原因对抽取模型的训练参数；
检测联合损失是否收敛；
若联合损失未收敛，则以新的训练文档作为所述训练文档，并返回执行将训练文档输入到语言模型中，得到所述训练文档中每个子句的向量化表示的步骤；
若联合损失收敛，以最新的情感-原因对抽取模型作为训练完成的情感-原因对抽取模型；
所述基于所述情感-原因对抽取模型得到联合损失的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
将每个子句的类型预测值以及类型标签值输入到第一损失函数公式中，得到第一损失，所述第一损失函数公式为：
Figure FDA0003443138180000041
其中，Lclause为第一损失，n为训练文档中的子句数量，
Figure FDA0003443138180000042
为子句i的情感子句类型标签值，
Figure FDA0003443138180000043
为子句i的情感子句类型预测值，
Figure FDA0003443138180000044
为子句i的原因子句类型标签值，
Figure FDA0003443138180000045
为子句i的原因子句类型预测值；
基于融合高斯先验的交叉注意力模块，得到更新后的情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述训练文档中的情感-原因对；
将每个候选子句对的情感-原因对的预测值以及情感-原因对的标签值输入到第二损失函数公式中，得到第二损失，所述第二损失函数公式为：
Figure FDA0003443138180000046
其中，Lpair为第二损失，n为训练文档中的子句数量，
Figure FDA0003443138180000047
为候选子句对的情感-原因对的标签值，ui,j为候选子句对的情感-原因对的预测值；
组合第一损失以及第二损失得到联合损失。
8.一种情感-原因对抽取装置，其特征在于，所述情感-原因对抽取装置包括：
子句向量化表示模块，用于将待预测文档输入到语言模型中，得到所述待预测文档中每个子句的向量化表示；
情感-原因对预测模块，用于将所述每个子句的向量化表示输入到训练完成的情感-原因对抽取模型中，基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对；
所述基于所述训练完成的情感-原因对抽取模型得到所述待预测文档中的情感-原因对的步骤包括：
基于第一融合高斯先验的自注意力模块，得到每个子句的第一向量化表示；
基于所述每个子句的第一向量化表示预测每个子句的类型，并基于类型预测值划分得到得到情感子句集和原因子句集；
基于融合高斯先验的交叉注意力模块，得到情感子句集与原因子句集中每个子句的第二向量化表示；
对所述情感子句集和原因子句集应用笛卡尔积，将情感子句集中每个子句的第二向量化表示和原因子句集中每个子句的第二向量化表示进行一一拼接操作，得到每个候选子句对的向量化表示；
基于第二融合高斯先验的自注意力模块，得到每个候选子句对的新的向量化表示；
根据每个候选子句对的新的向量化表示进行情感-原因对的预测，并基于情感-原因对的预测值，抽取得到所述待预测文档中的情感-原因对。
9.一种情感-原因对抽取设备，其特征在于，所述情感-原因对抽取设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的情感-原因对抽取程序，其中所述情感-原因对抽取程序被所述处理器执行时，实现如权利要求1至7中任一项所述的情感-原因对抽取方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有情感-原因对抽取程序，其中所述情感-原因对抽取程序被处理器执行时，实现如权利要求1至7中任一项所述的情感-原因对抽取方法的步骤。
CN202111639867.8A 2021-12-29 2021-12-29 情感-原因对抽取方法、装置、设备及可读存储介质 Active CN114357164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111639867.8A CN114357164B (zh) 2021-12-29 2021-12-29 情感-原因对抽取方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111639867.8A CN114357164B (zh) 2021-12-29 2021-12-29 情感-原因对抽取方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114357164A true CN114357164A (zh) 2022-04-15
CN114357164B CN114357164B (zh) 2024-09-10

Family

ID=81103624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111639867.8A Active CN114357164B (zh) 2021-12-29 2021-12-29 情感-原因对抽取方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114357164B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116910255A (zh) * 2023-07-19 2023-10-20 重庆位图信息技术有限公司 一种情感原因对提取方法、装置、计算机设备和存储介质
CN117787267A (zh) * 2023-12-29 2024-03-29 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859957A (zh) * 2020-07-15 2020-10-30 中南民族大学 情感原因子句标签的抽取方法、装置、设备及存储介质
WO2020253042A1 (zh) * 2019-06-18 2020-12-24 平安科技（深圳）有限公司 情感智能判断方法、装置及计算机可读存储介质
CN112784573A (zh) * 2021-01-25 2021-05-11 中南民族大学 文本情感内容分析方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253042A1 (zh) * 2019-06-18 2020-12-24 平安科技（深圳）有限公司 情感智能判断方法、装置及计算机可读存储介质
CN111859957A (zh) * 2020-07-15 2020-10-30 中南民族大学 情感原因子句标签的抽取方法、装置、设备及存储介质
CN112784573A (zh) * 2021-01-25 2021-05-11 中南民族大学 文本情感内容分析方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭茂盛: "基于深度学习的文本蕴含技术研究", 《博士电子期刊》, 31 January 2021 (2021-01-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116910255A (zh) * 2023-07-19 2023-10-20 重庆位图信息技术有限公司 一种情感原因对提取方法、装置、计算机设备和存储介质
CN117787267A (zh) * 2023-12-29 2024-03-29 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统
CN117787267B (zh) * 2023-12-29 2024-06-07 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统

Also Published As

Publication number Publication date
CN114357164B (zh) 2024-09-10

Similar Documents

Publication Publication Date Title
JP7112536B2 (ja) テキストにおける実体注目点のマイニング方法および装置、電子機器、コンピュータ読取可能な記憶媒体並びにコンピュータプログラム
CN108985358B (zh) 情绪识别方法、装置、设备及存储介质
CN112685565A (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN109753661B (zh) 一种机器阅读理解方法、装置、设备及存储介质
KR20210091671A (ko) 의료 사실의 검증 방법 및 장치
US11036996B2 (en) Method and apparatus for determining (raw) video materials for news
CN113836303A (zh) 一种文本类别识别方法、装置、计算机设备及介质
CN107437417A (zh) 基于循环神经网络语音识别中语音数据增强方法及装置
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN112784573B (zh) 文本情感内容分析方法、装置、设备及存储介质
CN109948140B (zh) 一种词向量嵌入方法及装置
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN117174177B (zh) 蛋白质序列生成模型的训练方法、装置及电子设备
CN114357164A (zh) 情感-原因对抽取方法、装置、设备及可读存储介质
CN118747797B (zh) 基于深度学习的图像处理方法和装置
CN114528851A (zh) 回复语句确定方法、装置、电子设备和存储介质
CN113722436A (zh) 文本信息提取方法、装置、计算机设备及存储介质
CN111241843B (zh) 基于复合神经网络的语义关系推断系统和方法
CN113688222B (zh) 基于上下文语义理解的保险销售任务话术推荐方法、系统以及设备
CN119759356A (zh) 基于大模型的代码生成方法、装置及电子设备
CN113361629A (zh) 一种训练样本生成的方法、装置、计算机设备及存储介质
CN117216206A (zh) 会话处理方法、装置、电子设备及存储介质
CN113889150B (zh) 语音情感识别方法及装置
CN116741141A (zh) 语音合成方法、语音合成装置、电子设备及存储介质
CN116166858A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
点击 这是indexloc提供的php浏览器服务，不要输入任何密码和下载