-
题名融合RNN与稀疏自注意力的文本摘要方法
- 1
-
-
作者
刘钟
唐宏
王宁喆
朱传润
-
机构
重庆邮电大学通信与信息工程学院
重庆邮电大学移动通信技术重庆市重点实验室
-
出处
《计算机工程》
北大核心
2025年第1期312-320,共9页
-
基金
国家自然科学基金(61971080)。
-
文摘
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。
-
关键词
序列到序列架构
文本摘要
Transformer模型
递归神经网络
递归循环机制
稀疏自注意力机制
-
Keywords
Sequence-to-Sequence(Seq2Seq)architecture
text summarization
Transformer model
Recurrent Neural Network(RNN)
recursive loop mechanism
sparse self-attention mechanism
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
