摘要：针对现有的研究大多将短序列时间序列预测和长序列时间序列预测分开研究而导致模型在较短的长序列时序预测时精度较低的问题,提出一种较短的长序列时间序列预测模型(SLTSFM)。首先,利用卷积神经网络(CNN)和PBUSM(Probsparse Based on Uniform Selection Mechanism)自注意力机制搭建一个序列到序列(Seq2Seq)结构,用于提取长序列输入的特征;其次,设计“远轻近重”策略将多个短序列输入特征提取能力较强的长短时记忆(LSTM)模块提取的各时段数据特征进行重分配;最后,用重分配的特征增强提取的长序列输入特征,提高预测精度并实现时序预测。利用4个公开的时间序列数据集验证模型的有效性。实验结果表明,与综合表现次优的对比模型循环门单元(GRU)相比,SLTSFM的平均绝对误差(MAE)指标在4个数据集上的单变量时序预测分别减小了61.54%、13.48%、0.92%和19.58%,多变量时序预测分别减小了17.01%、18.13%、3.24%和6.73%。由此可见SLTSFM在提升较短的长序列时序预测精度方面的有效性。

摘要：针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。

摘要：随着计算硬件和算法的发展,长短期记忆网络(LSTM)和序列到序列(seq2seq)等深度学习方法在处理时间序列问题上显示出较大优势。针对连续降雨径流预测,提出一种基于LSTM和seq2seq结构的预测模型。研究表明,LSTM-seq2seq模型在连续降雨径流预测方面优于线性回归、Lasso回归、支持向量回归和LSTM模型,具有较强的预测能力,可用于提高短期洪水预报的精度。

摘要：针对传统电网NLP中序列到序列深度学习模型学习误差大这一问题,基于运管智能助理NLP设计了一种新的深度学习模型。研究了NLP中输入序列到输出序列注意力机制,分析了NLP中的神经系统,语言以及程序,建立NLP中输入序列到输出模型,并针对程序细节进行设计,通过得到的注意力机制构建NLP中序列到序列深度学习模型,通过输入层、隐藏层、输出层实现针对序列到序列的深度学习。设定对比实验,结果表明,给出的深度学习模型具有很好的学习性能,学习结果误差较小。

摘要：结合注意力机制的循环神经网络(RNN)模型是目前主流的生成式文本摘要方法,采用基于深度学习的序列到序列框架,但存在并行能力不足或效率低的缺陷,并且在生成摘要的过程中存在准确率低和重复率高的问题.为解决上述问题,提出一种融合BERT预训练模型和卷积门控单元的生成式摘要方法.该方法基于改进Transformer模型,在编码器阶段充分利用BERT预先训练的大规模语料,代替RNN提取文本的上下文表征,结合卷积门控单元对编码器输出进行信息筛选,筛选出源文本的关键内容;在解码器阶段,设计3种不同的Transformer,旨在探讨BERT预训练模型和卷积门控单元更为有效的融合方式,以此提升文本摘要生成性能.实验采用ROUGE值作为评价指标,在LCSTS中文数据集和CNN/Daily Mail英文数据集上与目前主流的生成式摘要方法进行对比的实验,结果表明所提出方法能够提高摘要的准确性和可读性.

摘要：为增强景区科学管理、缓解交通压力、减少安全隐患、提升游客体验,提出基于特征分离编码和注意力机制的网络模型(feature separation encoding and attention mechanism network,FSEAMNet)预测景区短期客流量。该模型包含序列到序列(sequence-to-sequence,Seq2Seq)结构,将不同分布规律的特征进行分离并独立编码,融合成最终的编码向量序列。在每个解码时刻,注意力机制将编码向量序列重新组合成一个上下文向量,解码器从上下文向量解码出未来的游客数量。通过真实的景区数据库数据构建训练集、测试集。实验结果表明,与其它模型相较,FSEANet的预测误差最多可下降82.80%,该模型在工程应用案例分析中对未来一周客流量预测的每日相对误差均在10%以下。所提模型能对实际景区未来短期客流量实现较准确的预测。

摘要：针对现有对话模型生成的回复语句缺乏情感共鸣、拟人效果不够理想的问题,提出一种基于改进编解码器和情感词典的对话生成模型。利用AgSeq2Seq模型对语料库进行训练并构建高质量对话生成系统,结合情感词典识别输入语句的情绪特征并计算回复语句的情感值,基于情绪对比机制根据不同的情感特征生成相应的拟人回复。实验结果表明,相对传统的对话生成模型,提出模型可以主动识别用户情绪,生成更加合乎逻辑、适应语境的回复,实现拟人程度更高的情感对话过程。

摘要：基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。

摘要：针对基于注意力机制的序列到序列模型在合成长句子语音时出现的漏读、重读问题,根据前向算法提出了前向注意力机制,其利用前一时刻的注意力得分平滑当前异常得分。在此基础上,进一步提出了带约束的前向注意力机制,通过引入约束因子自适应平滑当前异常得分。实验结果表明,提出的前向注意力机制能够有效解决长句子语音合成中出现的漏读、重读问题,并具有更快的收敛速度和较好的稳定性,同时带约束的前向注意力机制又能够控制合成语音的速度,提高其自然度,在MOS得分上,相比基线模型Tacotron2,有2.5%左右的提升。

摘要：针对俄语语音合成和语音识别系统中发音词典规模有限的问题,提出一种基于长短时记忆(LSTM)序列到序列模型的俄语词汇标音算法,同时设计实现了标音原型系统。首先,对基于SAMPA的俄语音素集进行了改进设计,使标音结果能够反映俄语单词的重音位置及元音弱化现象,并依据改进的新音素集构建了包含20 000词的俄语发音词典;然后利用Tensor Flow框架实现了这一算法,该算法通过编码LSTM将俄语单词转换为固定维数的向量,再通过解码LSTM将向量转换为目标发音序列;最后,设计实现了具有交互式单词标音等功能的俄语词汇标音系统。实验结果表明,该算法在集外词测试集上的词形正确率达到了74.8%,音素正确率达到了94.5%,均高于Phonetisaurus方法。该系统能够有效为俄语发音词典的构建提供支持。