跳至内容
深圳市捷比信实业有限公司 · 产品选型与采购咨询联系业务人员
LED灯珠捷比信 · 专业器件主题站

NLP:现有联合开采工作的缺点

这是一项关于实体关系的联合提取的工作。关于现有的联合提取工作,作者提出了两个缺点:FeatureConfusiong:用于同一特征表示来执行NER和RE(关系分类)任务,这可能会导致对模型学习的误解;现有的基于Table-Filling方法完成联合提取工作的方法会将表结构转换为序列结构,从而导致重要结构信息的丢失。因此,本文的工作具有以下特点:对于NER和RE,分别学习了不同的序列表示形式和表表示形式。这两种表示形式可以分别捕获与任务相关的信息,并且作者还涉及一种机制,使它们彼此交互;维护表的结构,并通过神经网络结构捕获二维表中的结构信息;同时,在BERT中引入注意力权重以学习表中的元素表示。该模型的核心部分包括以下模块:TextEmbedding:对于包含n个单词的输入句子,其单词矢量,字符矢量和BERT单词矢量共同构成每个单词的表示形式。 TableEncoder:目标是学习N×N表下的矢量表示。表的第i行和第j列中的向量表示形式对应于句子中的第i和第j个单词,如图1所示。在本文中,MD-RNN(多维RNN)基于GRU结构的)用作TextEncoder。更新表中当前单元格的信息时,通过MDRNN合并上,下,左,右四个方向的信息,从而利用表的结构特征;同时,与SequenceEncoder下单元对应的两个单词的当前表达式使TableEncoder和SequenceEncoder之间能够交换信息。 SequenceEncoder:SequenceEncoder的结构与Transformer相似,但区别在于Transformer中的scaleddot-productattention被本文中提出的表所代替。 -指导下的注意。具体来说,将Transformer中Q和K之间的分数计算过程直接替换为表中两个单词对应的向量:由于T_ij在四个方向上组合了信息,因此可以更全面地捕获上下文信息和单词与单词的关系还可以在TableEncoder和SequenceEncoder之间进行双向信息交换。 ExploitPre-trainedAttentionWeights:TextEmbeddings部分对于BERT很有用,因此将BERT每一层上多头注意的每个头上的注意权重堆叠起来以获得张量Tl∈RN×N×(Ll×Al)T ^ {l} inmathbb {R} ^ {NimesNimes(L ^ limesA ^ l)} T和TextEmbedding中每个单词的表示构成了Table的初始输入:作者通过对不同数据集的实验证明了该模型的有效性,并且进行消融实验。相关分析。