基于Transformer模型与指针生成网络的摘要生成

1

作者 陈敬添 《广播电视网络》 2025年第4期24-27,共4页

生成技术旨在从文本中自动提取关键信息,提升信息价值密度,是自然语言处理领域内一项重要研究课题。本文结合Transformer模型结构与指针生成网络结构提出了一种自动文本摘要生成模型,相较传统Transformer模型,该模型可以更准确地提取信... 生成技术旨在从文本中自动提取关键信息,提升信息价值密度,是自然语言处理领域内一项重要研究课题。本文结合Transformer模型结构与指针生成网络结构提出了一种自动文本摘要生成模型,相较传统Transformer模型,该模型可以更准确地提取信息并生成可读性更强的摘要。 展开更多

关键词 自动摘要生成 指针生成网络 TRANSFORMER 深度学习

在线阅读 下载PDF 职称材料

基于指针生成网络和扩展Transformer的多属性可控文本摘要模型

2

作者 冼广铭 李凡龙 郑兆明 《计算机系统应用》 2024年第4期246-253,共8页

模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外... 模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外单词等问题.为此,本文提出了一种基于扩展Transformer和指针生成网络(pointer generator network,PGN)的模型.模型中的扩展Transformer将Transformer单编码器-单解码器的模型形式扩展成具有双重文本语义信息提取的双编码器和单个可融合指导信号特征的解码器形式.然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表生成新的摘要信息,以解决摘要任务中常出现的OOV(out of vocabulary)问题.此外,为高效完成位置信息编码,模型在注意力层中使用相对位置表示来引入文本的序列信息.模型可以用于控制摘要的许多重要属性,包括长度、主题和具体性等.通过在公开数据集MACSum上的实验表明,相较以往方法,本文提出的模型在确保摘要质量的同时,更加符合用户给定的属性要求. 展开更多

关键词 深度学习 可控文本摘要 Transformer模型 相对位置表示 指针生成网络

在线阅读 下载PDF 职称材料

基于改进指针生成网络的文本摘要

3

作者 杨尚儒 廖闻剑 《计算机与数字工程》 2024年第4期1154-1158,共5页

随着人们每天接收的消息越来越多,能够短时高效地找到自己想要的内容,获取想要的信息是提升自己的关键,因此文本摘要变得必不可少。人工生成文章的摘要是一项费时费力的任务,自动生成可读性高、流畅性强的摘要变得很有必要。摘要生成有... 随着人们每天接收的消息越来越多,能够短时高效地找到自己想要的内容,获取想要的信息是提升自己的关键,因此文本摘要变得必不可少。人工生成文章的摘要是一项费时费力的任务,自动生成可读性高、流畅性强的摘要变得很有必要。摘要生成有很多方法,又分为抽取式摘要和生成式摘要。指针生成网络因为其能有效解决未登录词的问题,仍然是一种非常流行的文本摘要方法。在我们的工作中,仍然使用传统的指针生成网络为基本框架,引入Transformer中的编码器部分作为预处理,提升编码质量;另外,引入未登录词惩罚来提高生成摘要文本的新颖性。实验结果表明,该模型在NLPCC数据集上取得了良好的效果。 展开更多

关键词 编码器-解码器 注意力机制 TRANSFORMER 指针生成网络

在线阅读 下载PDF 职称材料

基于指针生成网络的代码注释自动生成模型 被引量：5

4

作者 牛长安 葛季栋 +3 位作者 唐泽 李传艺 周宇 骆斌 《软件学报》 EI CSCD 北大核心 2021年第7期2142-2165,共24页

代码注释在软件质量保障中发挥着重要的作用,它可以提升代码的可读性,使代码更易理解、重用和维护.但是出于各种各样的原因,有时开发者并没有添加必要的注释,使得在软件维护的过程中,往往需要花费大量的时间来理解代码,大大降低了软件... 代码注释在软件质量保障中发挥着重要的作用,它可以提升代码的可读性,使代码更易理解、重用和维护.但是出于各种各样的原因,有时开发者并没有添加必要的注释,使得在软件维护的过程中,往往需要花费大量的时间来理解代码,大大降低了软件维护的效率.近年来,多项工作利用机器学习技术自动生成代码注释,这些方法从代码中提取出语义和结构化信息后,输入序列到序列的神经网络模型生成相应的注释,均取得了不错的效果.然而,当前最好的代码注释生成模型Hybrid-DeepCom仍然存在两方面的不足.一是其在预处理时可能破坏代码结构导致不同实例的输入信息不一致,使得模型学习效果欠佳;二是由于序列到序列模型的限制,其无法在注释中生成词库之外的单词(out-of-vocabulary word,简称OOV word).例如在源代码中出现次数极少的变量名、方法名等标识符通常都为OOV词,缺少了它们,注释将难以理解.为解决上述问题,提出了一种新的代码注释生成模型CodePtr.一方面,通过添加完整的源代码编码器解决代码结构被破坏的问题;另一方面,引入指针生成网络(pointer-generator network)模块,在解码的每一步实现生成词和复制词两种模式的自动切换,特别是遇到在输入中出现次数极少的标识符时模型可以直接将其复制到输出中,以此解决无法生成OOV词的问题.最后,在大型数据集上通过实验对比了CodePtr和Hybrid-DeepCom模型,结果表明,当词库大小为30000时,CodePtr的各项翻译效果指标平均提升6%,同时,处理OOV词的效果提升近50%,充分说明了CodePtr模型的有效性. 展开更多

关键词 软件质量保障 代码注释生成 神经网络 out-of-vocabulary word 指针生成网络

在线阅读 下载PDF 职称材料

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用 被引量：3

5

作者 李想 王卫兵 尚学达 《计算机应用》 CSCD 北大核心 2021年第6期1647-1651,共5页

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意... 针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖(OOV)的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。 展开更多

关键词 生成式文本摘要 注意力机制 TRANSFORMER 覆盖损失 指针生成网络

在线阅读 下载PDF 职称材料

基于指针生成网络的中文对话文本摘要模型 被引量：1

6

作者 胡清丰 魏赟 邬春学 《计算机系统应用》 2023年第1期224-232,共9页

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本... 针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果. 展开更多

关键词 深度学习 文本摘要 指针生成网络(PGN) 覆盖机制 Fastformer模型

在线阅读 下载PDF 职称材料

基于关键词与指针生成网络的摘要生成算法 被引量：3

7

作者 邓珍荣 汤园钰 +1 位作者 杨睿 张永林 《计算机系统应用》 2022年第11期246-253,共8页

为解决传统生成式模型在生成摘要的过程中会忽略关键词信息为摘要提供的重要线索,导致关键词信息的丢失,生成的摘要不能很好地契合原文信息,文章提出了一种以指针生成网络为骨架融合BERT预训练模型和关键词信息的摘要生成方法.首先,结合... 为解决传统生成式模型在生成摘要的过程中会忽略关键词信息为摘要提供的重要线索,导致关键词信息的丢失,生成的摘要不能很好地契合原文信息,文章提出了一种以指针生成网络为骨架融合BERT预训练模型和关键词信息的摘要生成方法.首先,结合TextRank算法与基于注意力机制的序列模型进行关键词的提取,使得生成的关键词能够包含更多的原文信息.其次,将关键词注意力加入到指针生成网络的注意力机制里,引导摘要的生成.此外,我们使用双指针拷贝机制来替代指针生成网络的拷贝机制,提高拷贝机制的覆盖率.在LCSTS数据集上的结果表明,所设计的模型能够包含更多的关键信息,提高了摘要生成的准确性和可读性. 展开更多

关键词 文本摘要 关键词 指针生成网络 注意力机制 双指针 深度学习

在线阅读 下载PDF 职称材料

PGNFuzz:基于指针生成网络的工业控制协议模糊测试框架 被引量：1

8

作者 王田原 武淑红 +3 位作者 李兆基 辛昊光 李璇 陈永乐 《计算机科学》 CSCD 北大核心 2022年第10期310-318,共9页

工业安全问题一直是重要而紧迫的全球性问题,工控协议被广泛应用于工业控制系统(Industrial Control System, ICS)组件之间的通信,其安全性关系到整个系统的安全稳定运行,迫切需要保证所有工控协议的安全。网络协议模糊测试对保证ICS的... 工业安全问题一直是重要而紧迫的全球性问题,工控协议被广泛应用于工业控制系统(Industrial Control System, ICS)组件之间的通信,其安全性关系到整个系统的安全稳定运行,迫切需要保证所有工控协议的安全。网络协议模糊测试对保证ICS的安全性和可靠性起着重要的作用,传统的模糊测试方法提高了工控协议的安全性,其中许多方法具有实际应用价值。然而,传统的模糊测试方法严重依赖于工控协议的规范,使得测试过程昂贵、耗时、麻烦和枯燥,如果规范不存在,任务就很难进行。因此,文中提出了一种基于指针生成网络(Pointer-Generator Networks, PGN)的智能且自动的协议模糊测试方法,并给出了一系列的性能指标。在此基础之上,设计了一个自动化智能应用模糊测试框架PGNFuzz,可用于各种工业控制协议。采用Modbus和EtherCAT等几种典型的工控协议对该框架的有效性和效率进行测试,实验结果表明,该方法在便捷性、有效性和效率方面均优于其他通用型模糊器(General Purpose Fuzzer, GPF)和其他基于深度学习的模糊测试方法。 展开更多

关键词 自动化漏洞挖掘 模糊测试 工业控制协议 工业安全 深度学习 指针生成网络

在线阅读 下载PDF 职称材料

基于指针生成网络的标题生成方法

9

作者 冯浩 《科学技术创新》 2019年第29期80-81,共2页

标题生成是文本摘要的一个主要应用,也是自然语言处理的一个重要研究方向。标题生成是为了应对文本信息的爆炸性增长以及人工生成标题存在的庸俗化、博眼球等问题而必然发展的场景。多样性与合理性是研究标题生成的核心问题之一,提供尽... 标题生成是文本摘要的一个主要应用,也是自然语言处理的一个重要研究方向。标题生成是为了应对文本信息的爆炸性增长以及人工生成标题存在的庸俗化、博眼球等问题而必然发展的场景。多样性与合理性是研究标题生成的核心问题之一,提供尽可能多的正向标题是标题生成的最终目的。本文介绍了如何应对标题生成中存在的未登录词问题与如何输出多个契合文本的标题的方法。 展开更多

关键词 深度学习 文本生成 指针生成网络 内容聚合

在线阅读 下载PDF 职称材料

基于Transformer模型的文本自动摘要生成 被引量：2

10

作者 刘志敏 张琨 朱浩华 《计算机与数字工程》 2024年第2期482-486,527,共6页

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成... 论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。 展开更多

关键词 生成式文本摘要 Transformer模型 指针生成网络 覆盖机制

在线阅读 下载PDF 职称材料

基于BERT模型的生成式自动文本摘要

11

作者 周圆 张琨 +2 位作者 陈智源 江浩俊 方自正 《计算机与数字工程》 2024年第10期3052-3058,共7页

随着深度学习的不断发展,预训练语言模型在自然语言处理领域已经取得了良好的效果。当然,自动文本摘要作为自然语言处理领域的重要研究方向之一也得益于大规模预训练语言模型。尤其在生成式文本摘要方面,利用大规模预训练语言模型,生成... 随着深度学习的不断发展,预训练语言模型在自然语言处理领域已经取得了良好的效果。当然,自动文本摘要作为自然语言处理领域的重要研究方向之一也得益于大规模预训练语言模型。尤其在生成式文本摘要方面,利用大规模预训练语言模型,生成一段能较为准确地反映原文主旨信息的摘要。但是目前的研究还存在一些问题,比如对原文档的语义信息了解不够充分,无法对多义词进行有效表征,生成的摘要存在重复内容,且逻辑性不强等。为了缓解上述问题,论文基于BERT预训练语言模型提出一种新的生成式文本摘要模型TextRank-BERT-PGN-Coverage(TBPC)。该模型利用经典的Encoder-Decoder框架,预训练权重并生成摘要。该实验采用CNN/Daily Mail数据集作为实验所用数据集,实验结果表明,与该领域目前已有的研究结果相比,论文提出的模型取得了较好的实验效果。 展开更多

关键词 生成式文本摘要 TextRank算法 BERT模型 指针生成网络 覆盖机制

在线阅读 下载PDF 职称材料

融合关键信息的PGN文本主题句生成方法 被引量：1

12

作者 葛斌 何春辉 黄宏斌 《计算机工程与设计》 北大核心 2022年第6期1601-1608,共8页

针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参... 针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参数自动配置,利用BERT预训练语言模型对获取的关键句进行向量化表征并输入到融合coverage复制机制的指针生成网络模型中生成主题句;采用后处理技术对生成的主题句内容和长度进行检测与修正得到最终主题句。在公开数据集LCSTS上的实验结果表明,所提模型可以更充分地理解原文并有效减少重复内容的生成,它的Rouge-1和Rouge-L值均高于基线模型。 展开更多

关键词 信息抽取 主题句生成 指针生成网络 迭代算法 复制机制 深度学习 后处理技术

在线阅读 下载PDF 职称材料

融合主题信息的关键词生成式文本摘要模型研究

13

作者 宋卓儒 《信息与电脑》 2024年第20期23-26,共4页

现有基于Seq2Seq框架的文本摘要模型在解决未登录词、文本重复生成等问题取得了较大进展,但在文本生成过程中依然存在关键信息缺失的问题。基于此,文章提出了主题信息关键词增强指针生成器网络(Thematic Keyword Enhancement Pointer Ge... 现有基于Seq2Seq框架的文本摘要模型在解决未登录词、文本重复生成等问题取得了较大进展,但在文本生成过程中依然存在关键信息缺失的问题。基于此,文章提出了主题信息关键词增强指针生成器网络(Thematic Keyword Enhancement Pointer Generator Networks,TKE-PGN)模型。该模型以指针生成器网络(Pointer-Generator Network,PGN)作为基线模型,引入关键词上下文向量对摘要生成进行指导。首先,在关键词提取阶段,使用线性判断分析(Linear Discriminant Analysis,LDA)方法对原文进行主题信息的提取,以此作为预训练语言模型BERT进行关键词提取时的信息补充。然后,在解码阶段融入主题关键词信息,以确保关键信息在解码阶段不会被遗漏或缺失。在CNN/Daily Mail数据集上的实验结果表明,提出的模型在ROUGE指标上对比基线模型有所提升,证明了该模型的有效性。 展开更多

关键词 文本摘要模型 关键词提取 LDA 指针生成器网络 覆盖机制

在线阅读 下载PDF 职称材料

基于BERT-PGN模型的中文新闻文本自动摘要生成 被引量：14

14

作者 谭金源 刁宇峰 +1 位作者 祁瑞华 林鸿飞 《计算机应用》 CSCD 北大核心 2021年第1期127-132,共6页

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合... 针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。 展开更多

关键词 生成式摘要模型 预训练语言模型 多维语义特征 指针生成网络 coverage机制

在线阅读 下载PDF 职称材料

融入领域知识的跨境民族文化生成式摘要方法 被引量：2

15

作者 赵冠博 张勇丙 +2 位作者 毛存礼 高盛祥 王奉孝 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2023年第4期620-628,共9页

从跨境民族文化文本中生成具有领域知识的摘要对进一步开展跨境民族文化文本检索、问答等任务具有重要的支撑作用,当前基于深度学习的生成式文本摘要取得了较好的效果,但直接用于跨境民族文化文本摘要任务会导致生成的摘要出现领域词汇... 从跨境民族文化文本中生成具有领域知识的摘要对进一步开展跨境民族文化文本检索、问答等任务具有重要的支撑作用,当前基于深度学习的生成式文本摘要取得了较好的效果,但直接用于跨境民族文化文本摘要任务会导致生成的摘要出现领域词汇丢失的问题.为此,提出一种融入领域知识的跨境民族文化生成式摘要方法(Domain Knowledge-Culture-Generative Summary,DKCGS),在编码端将跨境民族文化领域词典编码与原文本编码融合,以此增强模型对领域词汇的表征能力;在解码端,基于指针生成网络将具有同义或跨境关系的领域词汇分布与原文本分布结合,提高模型生成文化领域词汇的准确率.同时,在通用领域文本上进行预训练并进一步初始化参数,以缓解数据稀缺导致模型训练效果不佳的问题.实验结果表明,提出的方法在跨境民族文本摘要数据集上比基线模型的Rouge-1提升了0.95,有效提升了跨境民族文化文本摘要生成的质量. 展开更多

关键词 跨境民族文化 领域知识 指针生成网络 预训练 文本摘要

在线阅读 下载PDF 职称材料

基于IF-PGN模型的短文本摘要生成 被引量：1

16

作者 孙岩 李晶 《佳木斯大学学报（自然科学版）》 CAS 2021年第1期41-44,共4页

针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型--信息过滤-指针生成网络。该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信... 针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型--信息过滤-指针生成网络。该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信息的影响,且让指针网络的复制概率更加准确,生成的摘要内容更加丰富、连贯。在CNN/Ddily Mail数据集上的实验结果表明, ROUGE指标有明显提升。 展开更多

关键词 生成式摘要 神经网络 指针生成网络 信息过滤

在线阅读 下载PDF 职称材料

基于变分自编码器的生成式文本摘要研究 被引量：4

17

作者 黄佳佳 李鹏伟 《计算机应用研究》 CSCD 北大核心 2021年第3期705-709,共5页

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为... 从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。 展开更多

关键词 文本摘要 变分自编码器 Seq2Seq模型 覆盖率机制 指针生成网络

在线阅读 下载PDF 职称材料

基于双注意力的段落级问题生成研究 被引量：3

18

作者 曾碧卿 裴枫华 +1 位作者 徐马一 丁美荣 《中文信息学报》 CSCD 北大核心 2022年第8期154-162,174,共10页

段落级问题生成是指从给定的段落中生成一个或多个与之相关的问题。目前的研究主要使用序列到序列的神经网络最大程度地利用段落信息,但这种方法存在冗余信息干扰、无法聚焦重点句子的问题。针对上述问题,该文提出了一种基于双注意力的... 段落级问题生成是指从给定的段落中生成一个或多个与之相关的问题。目前的研究主要使用序列到序列的神经网络最大程度地利用段落信息,但这种方法存在冗余信息干扰、无法聚焦重点句子的问题。针对上述问题,该文提出了一种基于双注意力的段落级问题生成模型。该模型首先对段落和答案所在句子分别使用注意力机制,然后利用门控机制动态地分配权重并融合上下文信息,最后利用改进的指针生成网络结合上下文向量和注意力分布来生成问题。实验结果表明,该模型在SQuAD数据集上比现有主流模型具有更高的性能。 展开更多

关键词 问题生成 双注意力 指针生成网络

在线阅读 下载PDF 职称材料

中文新闻文本多文档摘要生成

19

作者 李宝安 佘鑫鹏 +2 位作者 常振宁 吕学强 游新冬 《计算机工程与设计》 北大核心 2023年第9期2867-2873,共7页

针对自动文本摘要任务中多文档生成式摘要模型抽取文本特征不充分、无法捕获跨文档关系和生成内容重复的问题,提出一种多文档生成式摘要模型Transformer-PGN。利用融合段落注意力机制的Transformer结构对文本进行特征抽取,同时捕获跨文... 针对自动文本摘要任务中多文档生成式摘要模型抽取文本特征不充分、无法捕获跨文档关系和生成内容重复的问题,提出一种多文档生成式摘要模型Transformer-PGN。利用融合段落注意力机制的Transformer结构对文本进行特征抽取,同时捕获跨文档关系;通过指针生成网络逐词生成摘要;结合覆盖率机制避免生成重复单词,形成最终的摘要。实验结果表明,与指针生成网络等模型相比,该模型生成的摘要信息更丰富、冗余度更低,Rouge-1、Rouge-2和Rouge-L分别提升了2.1%、2.4%和2.3%。 展开更多

关键词 中文新闻 多文档 指针生成网络 文本摘要 深度学习 注意力机制 覆盖率机制

在线阅读 下载PDF 职称材料

基于关键词生成的网格事件相似度并行计算

20

作者 陈钢 陈健鹏 +2 位作者 佘祥荣 秦加奇 陈剑 《计算机系统应用》 2022年第6期48-55,共8页

为实现在海量网格事件库中快速、准确地检索事件,本文提出一种基于关键词生成的网格事件相似度并行计算方法.该方法通过双向LSTM网络的编码器和单向LSTM网络的解码器构建指针生成网络生成事件关键词,使用记忆网络作为指针生成网络的序... 为实现在海量网格事件库中快速、准确地检索事件,本文提出一种基于关键词生成的网格事件相似度并行计算方法.该方法通过双向LSTM网络的编码器和单向LSTM网络的解码器构建指针生成网络生成事件关键词,使用记忆网络作为指针生成网络的序列信息存储单元,并将注意力机制用在输入序列上以将更重要的信息输入至解码器,同时引入覆盖机制来解决生成重复文本问题.在生成事件关键词后,基于结构相似度和情境相似度计算事件总体相似度,并利用GPU对LSTM网络和相似度计算进行加速.实验结果表明:相比基于机器学习的计算方法,该方法在事件相似度计算性能上更好,最高获得了4.04倍的加速比. 展开更多

关键词 生成 网格事件 相似度计算 指针生成网络 图形处理器 并行计算

在线阅读 下载PDF 职称材料