期刊文献+
共找到72篇文章
< 1 2 4 >
每页显示 20 50 100
基于对抗性的权重注意力机制序列到序列模型的锂离子电池SOC估计方法
1
作者 陈治铭 刘建华 +1 位作者 柯添赐 陈可纬 《电工技术学报》 EI CSCD 北大核心 2024年第19期6244-6256,共13页
锂电池荷电状态(SOC)的准确估算是新能源技术发展中的一项关键技术,由于难以直接获取SOC准确数值,而面对此长序列预测问题,采用传统深度学习方法,其估算效果不佳。对此,该文提出一种对抗性的权重注意力序列到序列(AWAS)模型以估算SOC,... 锂电池荷电状态(SOC)的准确估算是新能源技术发展中的一项关键技术,由于难以直接获取SOC准确数值,而面对此长序列预测问题,采用传统深度学习方法,其估算效果不佳。对此,该文提出一种对抗性的权重注意力序列到序列(AWAS)模型以估算SOC,其中权重注意力机制通过引入额外的线性变换增强了注意力机制提取长序列依赖的能力。该模型由门控循环单元(GRU)作为编码器和解码器的基本构建模块。首先利用编码器提取特征间的相关信息;其次将包含特征信息的隐藏向量交由权重注意力处理,以深化特征间的关联性学习;再次由GRU进行解码;最后与生成对抗网络(GAN)中的鉴别器联合,提高模型估算能力。通过多步SOC估算任务的测试实验,该文提出的模型估算SOC的方均根误差及平均绝对百分比误差分别达到0.1695%和0.2096%;同时,在不同数据集的单步估算任务测试中,平均绝对误差和方均根误差达到0.1412%和0.1094%;相比稀疏化Informer模型在平均绝对误差评估指标上降低了45.7%。 展开更多
关键词 锂电池荷电状态 序列到序列模型 对抗生成网络 稀疏化Informer 注意力
在线阅读 下载PDF
基于序列到序列模型的生成式文本摘要研究综述 被引量:16
2
作者 石磊 阮选敏 +1 位作者 魏瑞斌 成颖 《情报学报》 CSSCI CSCD 北大核心 2019年第10期1102-1116,共15页
相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综... 相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综述了编码、解码、训练等方面的研究工作,并对这些工作进行了比较和讨论,在此基础上总结出该领域未来研究的若干技术路线和发展方向。 展开更多
关键词 生成式摘要 序列到序列模型 编码器-解码器模型 注意力机制 神经网络
在线阅读 下载PDF
基于双输入序列到序列模型的井眼轨迹实时智能预测方法 被引量:4
3
作者 李臻 宋先知 +4 位作者 李根生 张洪宁 祝兆鹏 王正 刘慕臣 《石油钻采工艺》 CAS 北大核心 2023年第4期393-403,共11页
准确预测井眼轨迹是井眼轨迹控制的基础,对提高钻井效率极为重要,但影响井眼轨迹变化的因素众多,且井下力学行为复杂,使井眼轨迹难以准确预测,为此,提出了一种双输入序列到序列模型(Di-S2S)。该模型考虑了钻压、钻速等时序特征以及钻进... 准确预测井眼轨迹是井眼轨迹控制的基础,对提高钻井效率极为重要,但影响井眼轨迹变化的因素众多,且井下力学行为复杂,使井眼轨迹难以准确预测,为此,提出了一种双输入序列到序列模型(Di-S2S)。该模型考虑了钻压、钻速等时序特征以及钻进方式、地层分层、钻具组合等非时序特征,应用自然语言处理方法对非时序特征进行了数值化和降维表征,基于增量训练建立了模型动态更新机制。使用12口井数据进行了模型训练与验证,并与LSTM和BP模型进行了对比,结果显示,井斜角平均绝对误差分别较LSTM和BP模型降低49%和8%,方位角平均绝对误差分别较LSTM和BP模型降低了49%和24%。动态更新模型的井斜角和方位角平均绝对误差较离线模型分别降低了61%和67%,均低于0.2°,表明该模型精度较高,具备实时预测能力,可为导向钻井提供一定技术支撑。 展开更多
关键词 人工智能 井眼轨迹 实时预测 序列到序列模型 时序特征 非时序特征
在线阅读 下载PDF
基于序列到序列模型的代码片段推荐 被引量:4
4
作者 闫鑫 周宇 黄志球 《计算机科学与探索》 CSCD 北大核心 2020年第5期731-739,共9页
在软件开发过程中,开发者经常会以复用代码的方式,提高软件开发效率。已有的研究通常采用传统的信息检索技术来实现代码推荐。这些方法存在自然语言查询的高层级的意图与代码的低层级的实现细节不匹配的问题。提出了一种基于序列到序列... 在软件开发过程中,开发者经常会以复用代码的方式,提高软件开发效率。已有的研究通常采用传统的信息检索技术来实现代码推荐。这些方法存在自然语言查询的高层级的意图与代码的低层级的实现细节不匹配的问题。提出了一种基于序列到序列模型的代码片段推荐方法DeepCR。该方法结合程序静态分析技术与序列到序列模型,训练自然语言查询生成模型,为代码片段生成查询,通过计算生成的查询和开发者输入的自然语言查询的相似度得分来实现代码片段推荐。所构建的代码库的数据来源于Stack Overflow问答网站,确保了数据的真实性。通过计算代码片段推荐结果的平均倒数排名(MRR)和Hit@K来验证方法的有效性。实验结果表明,DeepCR优于现有研究工作,能够有效提高代码片段推荐效果。 展开更多
关键词 程序静态分析 序列到序列模型 代码片段推荐
在线阅读 下载PDF
基于序列到序列模型的无监督文本简化方法 被引量:1
5
作者 李天宇 李云 钱镇宇 《计算机应用研究》 CSCD 北大核心 2021年第1期93-96,100,共5页
训练基于序列到序列(seq2seq)的文本简化模型需要大规模平行语料库,但是规模较大且标注质量较好的语料却难以获得。为此,提出一种无监督文本简化方法,使模型的学习仅需要无标注的复杂句和简单句语料。首先,利用去噪自编码器(denoising a... 训练基于序列到序列(seq2seq)的文本简化模型需要大规模平行语料库,但是规模较大且标注质量较好的语料却难以获得。为此,提出一种无监督文本简化方法,使模型的学习仅需要无标注的复杂句和简单句语料。首先,利用去噪自编码器(denoising autoencoder)分别从简单句语料和复杂句语料中学习,获取简单句的自编码器和复杂句的自编码器;然后,组合两个自编码器形成初始的文本简化模型和文本复杂化模型;最后,利用回译策略(back-translation)将无监督文本简化问题转换为监督问题,不断迭代优化文本简化模型。通过在标准数据集上的实验验证,该方法在通用指标BLEU和SARI上均优于现有无监督模型,同时在词汇级别和句法级别均有简化效果。 展开更多
关键词 文本简化 无监督 序列到序列模型 去噪自编码器
在线阅读 下载PDF
基于序列到序列模型的观点核心信息抽取 被引量:2
6
作者 罗雨蒙 林煜明 《桂林电子科技大学学报》 2022年第5期405-411,共7页
方面项和观点项的成对抽取是基于方面的情感分析中的一个子任务,旨在从评论句中提取出观点核心信息。现有的方法需要对数据进行大量复杂的标注或者会产生大量的负样本,耗费大量人力且计算代价过大,为解决该问题,将方面-观点项对的抽取... 方面项和观点项的成对抽取是基于方面的情感分析中的一个子任务,旨在从评论句中提取出观点核心信息。现有的方法需要对数据进行大量复杂的标注或者会产生大量的负样本,耗费大量人力且计算代价过大,为解决该问题,将方面-观点项对的抽取任务转换为文本生成任务,提出了一种基于序列到序列模型(Seq2Seq)的端到端生成框架来生成方面-观点项对的方法,在所提出的框架中将大型预训练模型BART的编码器和解码器作为Seq2Seq模型的编码器和解码器,在解码时结合指针机制直接生成方面-观点词对序列。提出的模型在15res数据集上的F1值为77.31%,比最佳的基线模型提升了3.74%。实验结果表明,提出的模型在3个数据集上均优于其他基线模型。 展开更多
关键词 方面项和观点项的成对抽取 序列到序列模型 BART模型 指针机制 观点核心信息抽取
在线阅读 下载PDF
基于序列到序列模型的文本到信息框生成的研究 被引量:1
7
作者 鲍军威 周明 赵铁军 《智能计算机与应用》 2019年第3期1-5,10,共6页
本文展示了一种序列到序列的模型(Seq2Seq)来基于文本生成信息框(Infobox),信息框指的是一组"属性-值"对。该模型以端到端的方式工作,可利用一个编码器将一个文本段落表示成一个隐向量序列,然后通过解码器来生成信息框。本文... 本文展示了一种序列到序列的模型(Seq2Seq)来基于文本生成信息框(Infobox),信息框指的是一组"属性-值"对。该模型以端到端的方式工作,可利用一个编码器将一个文本段落表示成一个隐向量序列,然后通过解码器来生成信息框。本文在WIKIBIO数据集上进行实验。研究提出的序列到序列模型取得了58.2的F1值,该结果比流水线式的基准方法显著提升了21.0个百分点。实验结果表明,本模型具有以生成序列的方式来生成"属性-值"对的能力。引入注意力与拷贝机制可以提升模型的准确率。更重要的是,研究观察到该拷贝机制有能力从输入文本中拷贝稀有词来生成目标端信息框中的"值"。 展开更多
关键词 文本到信息框生成 序列到序列模型 注意力机制 拷贝机制
在线阅读 下载PDF
一种基于序列到序列模型的时间序列插补 被引量:3
8
作者 周茜 向维 《北京信息科技大学学报(自然科学版)》 2021年第3期59-65,共7页
多变量时间序列通常包含缺失值。针对如何利用不完整的信息探索复杂的丢失模式进而修复多变量时间序列的丢失值,提出了连续初始化的序列到序列模型(successively initialized sequence-to-sequence model,SISSM)。在SISSM模型中,为了增... 多变量时间序列通常包含缺失值。针对如何利用不完整的信息探索复杂的丢失模式进而修复多变量时间序列的丢失值,提出了连续初始化的序列到序列模型(successively initialized sequence-to-sequence model,SISSM)。在SISSM模型中,为了增强对时间依赖性和变量相关性的模拟能力,设计了交叉回归器并结合门控递归单元(gated recurrent unit,GRU),作为编码器的递归分量来学习历史信息代表性;改进了传统的GRU作为解码器的递归分量以生成插补值;并提出了一种状态初始化方法以缓解生成序列中的误差累积现象。在两组真实的临床数据集上进行了仿真实验。实验结果表明,相比于其他算法,SISSM可以更好地实现多变量时间序列的缺失数据插补。 展开更多
关键词 多变量时间序列 缺失数据插补 序列到序列模型 门控递归单元
在线阅读 下载PDF
基于序列到序列模型的抽象式中文文本摘要研究 被引量:6
9
作者 余传明 朱星宇 +1 位作者 龚雨田 安璐 《图书情报工作》 CSSCI 北大核心 2019年第11期108-117,共10页
[目的/意义]为更好地处理文本摘要任务中的未登录词(out of vocabulary, 00V ),同时避免摘要重复,提高文本摘要的质量,本文以解决00V问题和摘要自我重复问题为研究任务,进行抽象式中文文本摘要研究。[方法/过程]在序列到序列(sequence t... [目的/意义]为更好地处理文本摘要任务中的未登录词(out of vocabulary, 00V ),同时避免摘要重复,提高文本摘要的质量,本文以解决00V问题和摘要自我重复问题为研究任务,进行抽象式中文文本摘要研究。[方法/过程]在序列到序列(sequence to sequence, seq2seq)模型的基础上增加指向生成机制和覆盖处理机制,通过指向生成将未登录词拷贝到摘要中以解决未登录词问题,通过覆盖处理避免注意力机制(attentionmechanism)反复关注同一位置,以解决重复问题。将本文方法应用到LCSTS中文摘要数据集上进行实验,检验模型效果。[结果/结论]实验结果显示,该模型生成摘要的ROUGE ( recall -oriented understudy for gisting evaluation)分数高于传统的seq2seq模型以及抽取式文本摘要模型,表明指向生成和覆盖机制能够有效解决未登录词问题和摘要重复问题,从而显著提升文本摘要质量。 展开更多
关键词 抽象式文本摘要 序列到序列模型 注意力机制 覆盖机制 指向生成机制
原文传递
基于序列到序列模型的法律问题关键词抽取 被引量:4
10
作者 曾道建 童国维 +3 位作者 戴愿 李峰 韩冰 谢松县 《清华大学学报(自然科学版)》 EI CAS CSCD 北大核心 2019年第4期256-261,共6页
传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此在抽取法律问题(短文本)的关键词任务上效果不佳。该文提出了一种基于强化学习的序列到序列(seq2seq)模型来从法律问题中抽取关键词。首先,编码器将给定法律问题... 传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此在抽取法律问题(短文本)的关键词任务上效果不佳。该文提出了一种基于强化学习的序列到序列(seq2seq)模型来从法律问题中抽取关键词。首先,编码器将给定法律问题文本的语义信息压入一个密集矢量;然后,解码器自动生成关键词。因为在关键词抽取任务中,生成的关键词的前后顺序无关紧要,所以引入强化学习来训练所提出的模型。该模型结合了强化学习在决策上的优势和序列到序列模型在长期记忆方面的优势,在真实数据集上的实验结果表明,该模型在关键词抽取任务上有较好的效果。 展开更多
关键词 抽取 序列到序列模型 强化学习
原文传递
基于改进Seq2Seq的短时AIS轨迹序列预测模型 被引量:20
11
作者 游兰 韩雪薇 +3 位作者 何正伟 肖丝雨 何渡 潘筱萌 《计算机科学》 CSCD 北大核心 2020年第9期169-174,共6页
采用深度学习进行船舶轨迹序列预测对于智能航运具有重要意义。船舶自动识别系统(Automatic Identification System,AIS)蕴藏着大量船舶轨迹特征,基于AIS数据预测船舶轨迹是近年智能航运研究的热点之一。文中提出了一种基于改进Seq2Seq... 采用深度学习进行船舶轨迹序列预测对于智能航运具有重要意义。船舶自动识别系统(Automatic Identification System,AIS)蕴藏着大量船舶轨迹特征,基于AIS数据预测船舶轨迹是近年智能航运研究的热点之一。文中提出了一种基于改进Seq2Seq的短时AIS轨迹序列预测模型,该模型使用门控循环单元网络将历史时空序列编码为一个上下文向量,用以保留轨迹空间点间的时序关系,同时缓解梯度下降的问题。通过使用门控循环单元网络作为解码器来预测船舶轨迹的时空序列。实验采用了大规模真实船舶AIS数据,选取两类典型河段(重庆弯曲河段和武汉顺直河段)为实验区域,以评估和验证模型的有效性和适用性。实验证明,该模型能够有效提高短时轨迹序列预测的准确性和效率,为智能航船碰撞预警提供了一种有效可行的方法。 展开更多
关键词 轨迹预测 序列到序列模型 循环神经网络 船舶自动识别系统 时空数据挖掘
在线阅读 下载PDF
基于知识迁移和双向异步序列的对话生成模型
12
作者 王勇超 曹钰 +1 位作者 杨玉辉 许端清 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2022年第3期520-530,共11页
针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练... 针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练的知识库问答模型获取输入语句的知识表达、候选知识表达以及关键字;搭建2个编码器-解码器结构,通过双向异步解码将关键字显式地生成在对话回复中;编、解码阶段均引入预训练模型的知识理解和知识表达能力,提升对话生成对知识信息的捕捉能力.提出重复检测惩罚机制,通过赋予惩罚权重的方式减少对话生成中的重复词汇.实验结果表明,所提模型在自动评估和人工评价指标上均优于已有的对话生成方法. 展开更多
关键词 对话生成 知识实体 知识库问答 双向异步生成 序列到序列模型
在线阅读 下载PDF
基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法
13
作者 孙哲 禹可 吴晓非 《计算机应用研究》 CSCD 北大核心 2023年第8期2292-2297,共6页
中文拼写纠错是一项检测和纠正文本中拼写错误的任务。大多数中文拼写错误是在语义、读音或字形上相似的字符被误用,因此常见的做法是对不同模态提取特征进行建模。但将不同特征直接融合或是利用固定权重进行求和,使得不同模态信息之间... 中文拼写纠错是一项检测和纠正文本中拼写错误的任务。大多数中文拼写错误是在语义、读音或字形上相似的字符被误用,因此常见的做法是对不同模态提取特征进行建模。但将不同特征直接融合或是利用固定权重进行求和,使得不同模态信息之间的重要性关系被忽略以及模型在识别错误时会出现偏差,阻止了模型以有效的方式学习。为此,提出了一种新的模型以改善这个问题,称为基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法。该方法使用文本序列错误概率作为动态权重、中文常见拼写错误概率作为固定权重,对语义、读音和字形信息进行了高效融合。模型能够合理控制不同模态信息流入混合模态表示,更加针对错误发生处进行学习。在SIGHAN基准上进行的实验表明,所提模型的各项评估分数在不同数据集上均有提升,验证了该算法的可行性。 展开更多
关键词 中文拼写纠错 错误概率 预训练 信息融合 序列到序列模型
在线阅读 下载PDF
基于ALBERT-Seq2Seq模型的多标签农业文本分类方法 被引量:1
14
作者 香慧敏 李东亚 白涛 《信息技术》 2024年第5期22-29,37,共9页
针对多标签分类采用现有静态词向量模型无法捕获文本完整语义的问题,文中结合ALBERT与序列到序列模型,提出一种用于农业文本多标签分类的神经网络模型ALBERT-Seq2Seq。该模型采用ALBERT预训练语言模型动态获取农业文本语义信息,利用其... 针对多标签分类采用现有静态词向量模型无法捕获文本完整语义的问题,文中结合ALBERT与序列到序列模型,提出一种用于农业文本多标签分类的神经网络模型ALBERT-Seq2Seq。该模型采用ALBERT预训练语言模型动态获取农业文本语义信息,利用其内部多层双向Transformer架构挖掘农业文本信息的深层特征,接着引入Seq2Seq模型构造出多标签分类器并进行训练。在AGRI-ML2020农业文本多标签数据集上进行算法性能测试,实验结果表明,该模型分类F1值达89.5%,能够有效提升农业文本多标签分类效果。 展开更多
关键词 自然语言处理 多标签分类 序列到序列模型 农业文本 深度学习
在线阅读 下载PDF
Seq2Seq模型的短期水位预测 被引量:14
15
作者 刘艳 张婷 +2 位作者 康爱卿 李建柱 雷晓辉 《水利水电科技进展》 CSCD 北大核心 2022年第3期57-63,共7页
为有效预测未来一定时间内的连续水位,提出了基于序列到序列(Seq2Seq)的短期水位预测模型,并使用一个长短期记忆神经网络(LSTM)作为编码层,将历史水位序列编码为一个上下文向量,使用另一个LSTM作为解码层,将上下文向量解码来预测目标水... 为有效预测未来一定时间内的连续水位,提出了基于序列到序列(Seq2Seq)的短期水位预测模型,并使用一个长短期记忆神经网络(LSTM)作为编码层,将历史水位序列编码为一个上下文向量,使用另一个LSTM作为解码层,将上下文向量解码来预测目标水位序列。以流溪河为研究对象,针对不同预测长度分别建立水位预测模型,并与LSTM模型和人工神经网络(ANN)模型进行了对比。结果表明:Seq2Seq模型对连续6 h、12 h和24 h水位预测的纳什效率系数最高分别为0.93、0.90和0.85;当预测长度为6 h时,LSTM和Seq2Seq模型预测结果相似,ANN模型精度较低;当预测长度为12 h和24 h时,Seq2Seq模型相比LSTM模型和ANN模型预测效果更好,收敛速度更快。 展开更多
关键词 水位预测 序列到序列模型 长短期记忆神经网络 人工神经网络 深度学习
在线阅读 下载PDF
基于注意力机制的泊位占有率预测模型研究 被引量:4
16
作者 王竹荣 薛伟 +3 位作者 牛亚邦 崔颖安 孙钦东 黑新宏 《通信学报》 EI CSCD 北大核心 2020年第12期182-192,共11页
为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学... 为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学习权重,来实现解码器输出高度相关的有用特征预测目标序列。应用多个停车场数据集对模型进行测试,测试结果及对比分析表明,所提模型在步长达到36时对泊位占有率的预测数据能较好地估计真实值,预测精度和稳定性相比LSTM均有提高。 展开更多
关键词 时间序列预测 泊位占有率预测 注意力机制 序列到序列模型
在线阅读 下载PDF
融合语义结构的注意力文本摘要模型
17
作者 滕少华 董谱 张巍 《广东工业大学学报》 CAS 2021年第3期1-8,共8页
传统基于序列的文本摘要生成模型未考虑词的上下文语义信息,导致生成的文本摘要准确性不高,也不符合人类的语言习惯。本文提出了一种基于文本语义结构的文本摘要生成模型(Structure Based Attention Sequence to Sequence Model,SBA),... 传统基于序列的文本摘要生成模型未考虑词的上下文语义信息,导致生成的文本摘要准确性不高,也不符合人类的语言习惯。本文提出了一种基于文本语义结构的文本摘要生成模型(Structure Based Attention Sequence to Sequence Model,SBA),结合注意力机制的序列到序列生成模型,引入文本的句法结构信息,使得注意力结构得到的上下文向量同时包含文本语义信息与句法结构信息,获得生成的文本摘要。最后,基于Gigaword数据集的实验结果表明,提出的方法能有效地提高生成摘要的准确性以及可读性。 展开更多
关键词 文本摘要 序列到序列模型 注意力机制 语义结构
在线阅读 下载PDF
基于深度注意力模型的个体出行多步预测研究
18
作者 翁小雄 任杰 +1 位作者 覃镇林 罗瑞发 《重庆交通大学学报(自然科学版)》 CAS CSCD 北大核心 2022年第10期35-40,53,共7页
长期以来,对个体的出行预测一直是交通领域的研究重点。针对当前个体出行研究的局限性,提出了使用带注意力机制的序列到序列模型对个体出行进行多步预测,首先通过词嵌入的方法将个体出行特征的嵌入向量进行融合,然后基于带注意力机制的... 长期以来,对个体的出行预测一直是交通领域的研究重点。针对当前个体出行研究的局限性,提出了使用带注意力机制的序列到序列模型对个体出行进行多步预测,首先通过词嵌入的方法将个体出行特征的嵌入向量进行融合,然后基于带注意力机制的序列到序列模型设计了3种个体出行多步预测模型:整体输出式、步进输出式、多模型组合式。并将提出的模型与传统模型进行对比,最后探究了不同预测步长对实验结果带来的影响,从而验证了带注意力机制的序列到序列模型在多步预测中的适用性和优越性。 展开更多
关键词 交通运输工程 注意力机制 序列到序列模型 多步预测
在线阅读 下载PDF
基于多覆盖模型的神经机器翻译 被引量:9
19
作者 刘俊鹏 黄锴宇 +2 位作者 李玖一 宋鼎新 黄德根 《软件学报》 EI CSCD 北大核心 2022年第3期1141-1152,共12页
覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的... 覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的互补性,提出了多覆盖融合模型.首先定义词级覆盖分数概念;然后利用覆盖向量和覆盖分数存储的信息同时指导注意力机制,降低信息存储损失对注意力权重计算的影响.根据两种覆盖信息融合方式的不同,提出了两种多覆盖融合方法.利用序列到序列模型在中英翻译任务上进行了实验,结果表明,所提方法能够显著提升翻译性能,并改善源语言和目标语言的对齐质量.与只使用覆盖向量的模型相比,过度翻译和漏翻译问题的数量得到进一步减少. 展开更多
关键词 神经机器翻译 注意力机制 序列到序列模型 多覆盖模型 过度翻译 漏翻译
在线阅读 下载PDF
基于BART噪声器的中文语法纠错模型 被引量:9
20
作者 孙邱杰 梁景贵 李思 《计算机应用》 CSCD 北大核心 2022年第3期860-866,共7页
在中文语法纠错中,基于神经机器翻译的方法被广泛应用,该方法在训练过程中需要大量的标注数据才能保障性能,但中文语法纠错的标注数据较难获取。针对标注数据有限导致中文语法纠错系统性能不佳问题,提出一种基于BART噪声器的中文语法纠... 在中文语法纠错中,基于神经机器翻译的方法被广泛应用,该方法在训练过程中需要大量的标注数据才能保障性能,但中文语法纠错的标注数据较难获取。针对标注数据有限导致中文语法纠错系统性能不佳问题,提出一种基于BART噪声器的中文语法纠错模型——BN-CGECM。首先,为了加快模型的收敛,使用基于BERT的中文预训练语言模型对BN-CGECM的编码器参数进行初始化;其次,在训练过程中,通过BART噪声器对输入样本引入文本噪声,自动生成更多样的含噪文本用于模型训练,从而缓解标注数据有限的问题。在NLPCC 2018数据集上的实验结果表明,所提模型的F0.5值比有道开发的中文语法纠错系统(YouDao)提高7.14个百分点,比北京语言大学开发的集成中文语法纠错系统(BLCU_ensemble)提高6.48个百分点;同时,所提模型不增加额外的训练数据量,增强了原始数据的多样性,且具有更快的收敛速度。 展开更多
关键词 数据增强 中文语法纠错 文本噪声 深度学习 序列到序列模型 BART噪声器
在线阅读 下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部