针对现有摘要生成模型对审计新闻理解不充分且易丢失关键信息的问题,提出一种知识增强与生成式摘要模型相结合的摘要生成模型(text rank and bart with knowledge enhancement model,TRB-KE)。首先保留新闻前K个句子以获取关键信息;其次...针对现有摘要生成模型对审计新闻理解不充分且易丢失关键信息的问题,提出一种知识增强与生成式摘要模型相结合的摘要生成模型(text rank and bart with knowledge enhancement model,TRB-KE)。首先保留新闻前K个句子以获取关键信息;其次,利用抽取式摘要模型对剩余新闻语句按关键度排序,筛选出高质量信息;再次,建立了一套审计领域知识库,并将新闻中包含的术语与其释义抽出,作为背景知识融入到生成式摘要模型中;最后,使用生成式摘要模型对融合背景知识的高质量新闻文本进行归纳概括,得到摘要结果。同时,为提高模型效果,构建了一套审计新闻数据集进行针对性训练。实验结果表明,相较于基准模型,本文的TRB-KE模型在审计新闻数据集和NLPCC2018数据集的Rouge均值分别提升了0.98%和1.02%,证明所提模型可以学习新闻的深层信息,提升生成摘要的质量。展开更多
[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,...[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。展开更多
文摘针对现有摘要生成模型对审计新闻理解不充分且易丢失关键信息的问题,提出一种知识增强与生成式摘要模型相结合的摘要生成模型(text rank and bart with knowledge enhancement model,TRB-KE)。首先保留新闻前K个句子以获取关键信息;其次,利用抽取式摘要模型对剩余新闻语句按关键度排序,筛选出高质量信息;再次,建立了一套审计领域知识库,并将新闻中包含的术语与其释义抽出,作为背景知识融入到生成式摘要模型中;最后,使用生成式摘要模型对融合背景知识的高质量新闻文本进行归纳概括,得到摘要结果。同时,为提高模型效果,构建了一套审计新闻数据集进行针对性训练。实验结果表明,相较于基准模型,本文的TRB-KE模型在审计新闻数据集和NLPCC2018数据集的Rouge均值分别提升了0.98%和1.02%,证明所提模型可以学习新闻的深层信息,提升生成摘要的质量。
文摘[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。
