姑苏实验室科研论文被自然语言处理(NLP)顶会COLING 2024 录用

发布时间:2024-05-20

近日,由姑苏实验室软件算法工程化平台王思宇博士为第1作者发表的论文被LREC-COLING 2024录用。论文在团队成员(蒋建慧,戴圣然)的倾力合作下共同完成,创新地提出了一种序列到集合的层次生成模型(Hierarchical Sequence-to-Set Model)。该模型在方面类别情感分析(Aspect Category Sentiment Analysis)任务中获得了更好的性能。方面类别情感分析是自然语言处理的一个基础任务,被广泛应用于文本信息抽取、多轮对话系统以及推荐系统中。


国际计算语言学会议(International Conference On Computational LinguisticsCOLING)是自然语言处理和计算语言学领域最具权威性的四大会议(ACLEMNLPNAACLCOLING)之一,每两年举办一次,被中国计算机学会(CCF)推荐为人工智能领域B类国际会议,在领域内享有广泛的学术声誉。今年的计算语言学、语言资源与评价国际联合会议(LREC-COLING 2024)将由计算语言学领域两个具有国际影响力的组织——语言资源协会(ELRA)和国际计算语言学委员会(ICCL)联合举办,该会议于2024520日至25日在意大利都灵盛大举行。


题目: A Hierarchical Sequence-to-Set Model with Coverage Mechanism for Aspect Category Sentiment Analysis

作者:王思宇,蒋建慧,戴圣然等

类型:COLING 2024, Long Paper

关键词:生成式模型,文本情感分析

1)简介:方面类别情感分析(Aspect Category Sentiment AnalysisACSA)的目的是同时检测方面类别及其相应的情感极性(类别-情感对)。最近的一些研究使用了预先训练好的生成模型来完成ACSA,并取得了良好的效果。然而,对于ACSA生成模型仍然面临三个挑战。首先,解决ACSA中缺失的预测是至关重要的,这涉及到准确地预测一个句子中的所有类别-情感对。第二,类别-情感对在本质上是一个无序的集合。因此,即使该模型的预测是正确的,但由于生成的顺序与标签不完全一致,模型也会受到惩罚。第三,不同的方面类别应该关注相关的情感词,而方面类别的极性应该是这些情感词的极性的聚合。针对上述挑战,本文提出了一种序列到集合层次生成模型(Hierarchical Sequence-to-Set Model,并在该模型中创新性的引入覆盖机制(Coverage Mechanism)。最后,在训练模型时设计了集合预测目标函数(Set Prediction Loss)。我们在多个数据集上进行的大量实验,证明了本文中模型的优越性能。
2)模型结构:我们提出的模型的主要结构如下图所示。它由两部分组成:句子编码器(Encder)和解码器 (Decoder)。我们首先使用 BERT 作为编码器。在解码器中,引入覆盖机制和分层生成机制来生成类别情感对序列。


3)模型训练:训练的主要困难是根据数据标签对预测进行评分。在这种情况下,应用交叉熵损失函数(Cross-entropy Loss Function)来测量两个集合之间的差异是不合适的,因为交叉熵损失对预测的排列很敏感,而集合本质上是无序的。鉴于此,我们提出了一种新的集合预测损失函数。

4)实验设计:我们在多个数据集中进行实验,数据统计信息如表1所示。相对于基线模型,我们的模型在多个数据集中都取得了最好的效果,如表所示。

感兴趣的读者可以通过下方链接获取论文全文和代码。
论文地址https://aclanthology.org/2024.lrec-main.54/
代码地址https://github.com/sygogo/HCSGM-ACSA

姑苏实验室软件算法工程化平台致力于自然语言处理、大语言模型以及强化学习等AI细分领域的研发和创新应用,我们紧跟技术发展前沿趋势,并追求和行业需求深度结合,欢迎各界沟通交流