摘要：时间序列预测即利用历史时间序列数据,预测未来一段时间内的数据信息,以便提前制定相应策略。目前,时间序列的类别复杂繁多,而现有的时间序列预测模型面对多种类型数据时无法取得稳定预测的结果,进而难以同时满足对现实中多种复杂的时序数据预测的应用需求。针对上述问题,提出了一种基于时间注意力机制双向长短期记忆网络的时间序列预测方法。笔者提出的网络模型采用改进的正向和反向传播机制提取时序信息并通过自适应权重分配策略推理未来的时序信息。具体来说,设计了一个改进的双向长短期记忆网络,通过结合双向长短期记忆和长短期记忆网络提取深度时间序列特征,挖掘上下文的时序依赖关系。在此基础上,融合所提出的时间注意力机制,实现对深度时间序列特征进行自适应加权,提升深度时序特征的显著性表达能力。通过与同类代表性方法在多个不同类别数据集上的客观定量对比,实验结果表明,该方法能够在多种类别的复杂时间序列数据上更优的预测性能。

摘要：在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征,Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.

摘要：为提高输电线路状态评估的准确率,提出一种先聚类再回归的输电线路状态画像与评估模型。首先,设计自组织神经网络对输电线路原始数据进行降维,自适应地提取若干类代表性特征信息,无需人工提取特征和依据主观经验选择聚类数;然后,将代表性特征数据输入LSTM(长短期记忆)网络中,LSTM网络将前向学习和反向学习相结合,对模型进行双向训练与评估,建立输电线路核心数据与状态的非线性映射关系,提高电网场景下的输电线路状态评估准确率。实验结果表明,所提模型在实际数据集上取得了较好的评估效果,评估准确率高于常用的支持向量机、人工神经网络、稀疏自动编码机等方法。

摘要：情感分析作为自然语言处理(NLP)的细分研究方向经历了使用情感词典、机器学习和深度学习分析的发展过程。针对使用一般化的深度学习模型作为文本分类器对于特定领域的网络评论类型的文本的分析的精准度较低,训练时发生过拟合现象以及情感词典覆盖率低、编纂工作量大的问题,提出了基于情感词典和堆叠残差的双向长短期记忆(Bi-LSTM)网络的情感分析模型。首先,借助情感词典中情感词的设计覆盖“教育机器人”研究领域内的专业词汇,从而弥补Bi-LSTM模型在分析此类文本时精准度的不足;然后,使用Bi-LSTM和SnowNLP来降低情感词典的编纂体量。长短期记忆(LSTM)网络的“记忆门”“遗忘门”结构可以在保证充分考虑评论文本中的前后词语的关联性的同时,适时选择遗忘一些已分析词语,从而避免反向传播时的梯度爆炸问题。而在将堆叠残差的Bi-LSTM引入后,不仅使得模型的层数加深至8层,而且还使残差网络避免了叠加LSTM时会导致的“退化”问题;最后,通过适当设置和调整两部分的得分权重,并将总分使用Sigmoid激活函数标准化到[0,1]的区间上,按照[0,0.5],(0.5,1]的区间划分分别表示负面和正面情绪,完成情感分类。实验结果表明,在“教育机器人”评论数据集中,所提模型对于情感分类准确率相较于标准的LSTM模型提升了约4.5个百分点,相较于BERT提升了约2.0个百分点。综上,所提模型将基于情感词典和深度学习模型的情感分类方法一般化;而通过修改情感词典中的情感词汇并适当调整深度学习模型的结构和层数,所提模型可以应用于电子商务平台中各类商品的购物评价的精确情感分析,从而帮助企业洞悉消费者的购物心理和市场需求,同时也可以为消费者提供商品质量的一种参考标准。

摘要：时空插值可以捕获时空数据中的依赖关系,估计地理现象随时间的几何和属性数据变化。现有的时空插值方法大多未同时考虑数据的长期时间相关性以及全局空间信息,本文结合长短时记忆网络LSTM (Long Short Term Memory)与数据的空间特性构建了时空插值模型:(1)模型利用空间层剔除弱相关性的信息,提取相关性更强的空间信息输入LSTM网络;(2)由于传统人工神经网络ANN (Artificial Neural Network)模型无法考虑时间对插值的影响以及单向LSTM模型仅能考虑过去时刻对当前时刻的影响而不能利用未来时刻的信息,本文使用双向LSTM模型BiLSTM(Bi-directional LSTM)体现时间相关性;(3)为了有效提取全局空间特征并保留BiLSTM双向建模的优势,本文将自注意力机制引入BiLSTM中,构建了融合自注意力的双向LSTM插值模型SL-BiLSTM-SA (BiLSTM Model Fused with Spatial Layer-Self attention)。在实验设计阶段,模型被应用于山东省PM2.5浓度数据集进行插值效果研究,并与其它模型进行性能比较。实验表明,SL-BiLSTM-SA模型有着更低的误差度量,相较时空普通克里金STOK (Spatio-Temporal Ordinary Kriging)和遗传算法优化的时空克里金GA-STK (Genetic Algorithm-optimized Spatio-Temporal Kriging)精度分别提高了39.83%、36.63%,且能较准确地预测高值和低值。本文融合空间信息,结合BiLSTM和Self-attention构建了时空插值模型,扩展了时空数据的插值手段,为时空数据分析提供了一定的理论和方法支撑。

摘要：智慧供应链的数智化采购环节能够提高采购工作效率,节省大量人力成本。采购文件中包括大量证照资质等文件,针对其中图片文本中文字排版参差不齐、扫描图像不清晰等问题,设计了基于深度学习的端到端跨模态命名实体识别模型O2V2BLC(OCR-Vector-Bi-LSTM-CRF),从图片文本中识别命名实体。该模型针对光学字符识别技术识别出的图片文本字符,定义连续文本字符边界,将边界内每个文本字符映射为向量,设计双向长短期记忆(Bi-LSTM)网络捕获边界内字符序列的上下文语义,计算字符状态分数矩阵,并通过条件随机场约束字符标记序列规则,获得全局最优标记序列。针对训练集计算命名实体预测误差,动态优化O2V2BLC模型的参数,实现命名实体识别。将该方法应用于采购文件资质类型等图片文本数据,能够有效识别图片中的投标单位、专家姓名、专业名称等命名实体,与条件随机场、隐马尔可夫算法、Bert-Bi-LSTM-CRF模型进行对比,显著提高了实体识别准确率,为智慧供应链的数智化采购提供支持。

摘要：针对景区手写诗词存在背景纹理复杂、字体尺寸及风格多样等特点导致景区游客难以识别手写诗词的问题,首先,分析研究景区手写诗词的识别场景,设计景区诗词检测网络(detection of poetry in scenic areas-network,DPSA-Net)以提取景区手写诗词不同尺度的特征,并结合手写诗词字符间的链接依赖关系实现景区手写诗词检测;其次,设计了卷积循环聚合网络(convolution recurrent aggregation network,CRA-Net)以对景区手写诗词进行识别,结合卷积神经网络(convolutional neural networks,CNN)和双向长短期记忆网络提取手写诗词图像的序列特征,并通过聚合交叉熵(aggregation cross-entropy,ACE)实现特征向文本的转换;最后,结合景区知识图谱对CRA-Net的输出进行校正,进而提高景区手写诗词的识别准确率。实验结果表明,通过景区手写诗词矫正技术对CRA-Net的识别结果矫正后,识别准确率达到了79.04%,同时,该技术具有较好的抗干扰能力和良好的应用前景。

摘要：针对卷积神经网络(CNN)在捕捉预测序列间历史相关性方面的不足以及在变量复杂情况下出现的无法精准提取预测关键信息的问题,提出一种将双向长短期记忆网络(BiLSTM)与卷积神经网络结合的CNN-BiLSTM模型.首先,采用数据预处理方法保证数据的正确性和完整性,并对数据进行分析以探究多变量之间的相关性;其次,通过CNN与L1正则化对多维输入特征进行特征筛选,选取与预测相关的重要性特征向量;最后,使用BiLSTM对CNN输出的关键特征信息进行保存,形成向量与预测序列,并通过分析时序特征的潜在特点,提取用户的内在消费模式.实验比较了该模型与其他时序模型在不同时间分辨率下的预测效果,实验结果表明,CNN-BiLSTM模型在不同的回望时间间隔下表现出了最佳的预测性能,能够实现更好的短期负荷预测.

摘要：针对自然场景文本长度不定、角度倾斜等难题,提出了一种基于增强特征提取网络与语义特征融合的文本检测方法。通过结合可变形卷积与空洞卷积,设计了一种增强扩张残差模块EDRM(Enhanced Dilated Residual Module),将其应用于ResNet18的conv4_x与conv5_x层,并以此作为骨干网络,在改善网络特征提取能力的同时提高特征图像分辨率,减少空间信息丢失。其次,针对现有算法提取文本语义特征仍不充分的问题,将双向长短期记忆网络BiLSTM(Bi-directional Long Short-Term Memory)引入特征融合部分,增强融合特征图对自然场景文本的表征能力以及特征序列的关联性,同时提高模型的文本定位能力。在多方向文本数据集ICDAR2015、长文本数据集MSRA-TD500上对模型展开评估,实验结果表明,该算法与当下高效的DBNet算法相比,F值分别提升1.8%、3.3%,表现出良好的竞争力。

摘要：基于深度记忆网络在方面级情感分析中的优势及针对相关工作中忽略上下文词与方面之间位置信息的不足,提出一种基于上下文方面记忆网络的方面级情感分析方法。不同记忆网络层关注上下文记忆不同部分,获取丰富方面感知上下文信息。为充分利用方面间信息,设计方面记忆网络更新模块,为所需方面生成邻近方面的语义和关系信息,在多计算层中的多头注意力机制输入采用两种策略计算上下文和方面词的相关性。在3个基准数据集上的实验结果表明,所提模型在性能评价指标的准确率和Macro-F1-score上与相关工作比较有一定提升。