期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
融合主题信息的关键词生成式文本摘要模型研究
1
作者 宋卓儒 《信息与电脑》 2024年第20期23-26,共4页
现有基于Seq2Seq框架的文本摘要模型在解决未登录词、文本重复生成等问题取得了较大进展,但在文本生成过程中依然存在关键信息缺失的问题。基于此,文章提出了主题信息关键词增强指针生成器网络(Thematic Keyword Enhancement Pointer Ge... 现有基于Seq2Seq框架的文本摘要模型在解决未登录词、文本重复生成等问题取得了较大进展,但在文本生成过程中依然存在关键信息缺失的问题。基于此,文章提出了主题信息关键词增强指针生成器网络(Thematic Keyword Enhancement Pointer Generator Networks,TKE-PGN)模型。该模型以指针生成器网络(Pointer-Generator Network,PGN)作为基线模型,引入关键词上下文向量对摘要生成进行指导。首先,在关键词提取阶段,使用线性判断分析(Linear Discriminant Analysis,LDA)方法对原文进行主题信息的提取,以此作为预训练语言模型BERT进行关键词提取时的信息补充。然后,在解码阶段融入主题关键词信息,以确保关键信息在解码阶段不会被遗漏或缺失。在CNN/Daily Mail数据集上的实验结果表明,提出的模型在ROUGE指标上对比基线模型有所提升,证明了该模型的有效性。 展开更多
关键词 文本摘要模型 关键词提取 LDA 指针生成器网络 覆盖机制
在线阅读 下载PDF
基于混合过滤编码的神经中文生成式摘要
2
作者 蓝雯飞 周伟枭 +2 位作者 许智明 朱容波 罗一凡 《中南民族大学学报(自然科学版)》 CAS 北大核心 2021年第3期305-311,共7页
在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合... 在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合过滤编码机制(HFEM)、注意力机制、指针生成器.HFEM分为管道过滤编码机制(PFEM)、特征融合过滤编码机制(FFFEM).其中,FFFEM具体通过添加特征融合层实现.在中文摘要领域基准数据集(LCSTS)上的实验结果表明:HFEN相较于基线模型生成了准确性更高、重复单词更少的摘要,ROUGE指标有较大提升. 展开更多
关键词 神经中文生成式摘要 混合过滤编码网络 混合过滤编码机制 管道过滤编码机制 特征融合过滤编码机制 指针生成器
在线阅读 下载PDF
基于PGN-CL的文本摘要生成模型
3
作者 刘雅情 张海军 +2 位作者 梁科晋 张昱 王月阳 《计算机与现代化》 2023年第2期66-71,77,共7页
基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PG... 基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PGN为基本架构,解决摘要模型存在的未登录词和生成文本重复的问题;采用对抗性扰动对比学习作为一种新的模型训练方式来解决曝光偏差问题。在PGN模型的训练过程中,通过向目标序列添加扰动并建立对比损失函数来生成对抗性正负样本,使负样本与目标序列在嵌入空间相似但语义差别很大,正样本与目标序列在语义空间很相近但嵌入空间差距较大,这些区分困难的正负样本可以引导PGN模型在特征空间更好地学习到正负样本的区分特征,获得更准确的摘要表示。在LCSTS数据集上的实验结果表明,提出的模型在ROUGE评价指标上的表现优于对比基线,证明了融合指针生成器网络和对抗性扰动对比学习对摘要质量提升的有效性。 展开更多
关键词 文本摘要 指针生成器网络 对抗性扰动 对比学习
在线阅读 下载PDF
面向法律文书的分段式摘要模型 被引量:4
4
作者 王刚 孙媛媛 +1 位作者 陈彦光 林鸿飞 《计算机工程》 CAS CSCD 北大核心 2022年第6期288-294,共7页
是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Tr... 是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Transformer结构的文档级句子编码器,提出一种结合内容抽取与摘要生成的分段式摘要模型。采用BERT模型对大量语料进行自监督学习,获得包含丰富语义信息的词表示。基于Transformer结构,通过全连接网络分类器将每个句子分成3类标签,抽取每句摘要对应的原文句子集合。利用指针生成器网络对原文句子集合进行压缩,将多个句子集合生成单句摘要,缩短输出序列和输入序列的长度。实验结果表明,相比直接生成摘要全文,该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点,能够有效提高生成句子的准确率。 展开更多
关键词 司法摘要 预训练模型 Transformer编码器 序列标注 指针生成器网络 分段式摘要模型
在线阅读 下载PDF
SFExt-PGAbs:两阶段长文档摘要模型
5
作者 周伟枭 蓝雯飞 +1 位作者 许智明 朱容波 《计算机科学与探索》 CSCD 北大核心 2021年第5期907-921,共15页
针对抽取式方法、生成式方法在长文档摘要上的流畅性、准确性缺陷以及在文档编码前截断原始文档造成的重要信息缺失问题,提出一种两阶段长文档摘要模型SFExt-PGAbs,由次模函数抽取式摘要SFExt与指针生成器生成式摘要PGAbs组成。SFExt-PG... 针对抽取式方法、生成式方法在长文档摘要上的流畅性、准确性缺陷以及在文档编码前截断原始文档造成的重要信息缺失问题,提出一种两阶段长文档摘要模型SFExt-PGAbs,由次模函数抽取式摘要SFExt与指针生成器生成式摘要PGAbs组成。SFExt-PGAbs模拟人类对长文档进行摘要的过程,首先使用SFExt在长文档中抽取出重要句子,过滤不重要且冗余的句子形成过渡文档,然后PGAbs接收过渡文档作为输入以生成流畅且准确的摘要。为获取与原始文档中心思想更为接近的过渡文档,在传统SFExt中拓展出位置重要性、准确性两个子方面,同时设计新的贪心算法。为研究不同特征提取器对生成摘要质量的影响,在PGAbs中应用两种循环神经网络。实验结果显示,在CNNDM测试集上,SFExt-PGAbs相较于基线模型生成了更为流畅、准确的摘要,ROUGE指标有较大提升。同时,子方面拓展后的SFExt也能抽取得到更准确的摘要。 展开更多
关键词 两阶段摘要模型 长文档摘要 抽取式摘要 生成式摘要 次模函数 指针生成器 子方面融合
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部