摘要：针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题,提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别,该模型主要由特定视角子网和公共子网串联组成.首先通过特定视角子网学习每个视角序列的判别性特征,同时利用空域注意力和时域注意力模块分别重点关注关键关节点和关键帧;然后特定视角子网的输出特征作为公共子网的输入,通过公共子网进一步学习角度无关性特征;最后输出行为分类结果.为了保证网络的有效训练,提出一个正则化交叉熵损失函数来推动网络多模块共同学习.实验结果表明,该模型在目前最大的骨架数据集NTU数据集上识别准确率为76.3%.

摘要：针对现有地震到时拾取算法精度较低、鲁棒性较差等问题,设计了一种基于深度学习的地震P波到时拾取网络,该网络为编解码结构,可实现地震波形序列的逐点预测。网络编码器对输入数据进行多尺度特征提取与融合,提高特征利用率;利用多尺度残差结构深度挖掘数据中隐藏特征信息,提升模型非线性拟合能力;在解码网络中加入时空注意力机制,提高网络对到时特征的感知能力;提出深层编码特征融合模块,在保证特征完整性的同时有效避免融合特征过程中出现的特征序列污染问题。实验结果表明,提出的网络在0.1s、0.2s、0.3s三个误差阈值下,拾取命中率分别为75.04%、94.6%、97.37%,平均绝对误差和均方误差为0.092s、0.036,相比现有传统方法与深度学习到时拾取方法,具有更高的P波到时拾取精度。

摘要：随着数字化技术和人工智能的发展,游客对博物馆的参观不再是单向式进行,而是游客与展品之间可以形成交互。实现双向交互的第一步就是读懂游客的表情,从而对游客当前的状态做出正确的判断和回应。对博物馆场景下游客表情识别进行研究,设计了基于时空注意力机制的人脸表情识别方法,从时间和空间两个维度,利用卷积神经网络(CNN)与长短时记忆网络(LSTM)共同提取人脸表情特征。同时,添加时空注意力机制,增强特征表达能力。基于实验结果,对应参观者六种不同的面部情感,准确识别率最高可达78%。在公开的RML视频情感数据集上的实验结果显示,识别方法取得64.63%的正确识别率,表明该识别方法能够有效提高表情识别率。

摘要：动作识别算法需要从视频中提取空间和时域特征,对计算存储资源要求较高。基于2D CNN的网络更为轻量,但从视频中提取时域特征的能力较弱,动作识别性能通常受到限制。S-TPNet提出时空金字塔模块以获取图像序列的时间粒度特征,有效提升了基于2D CNN的动作识别网络的性能。基于S-TPNet,设计了时空注意力模型以凸显空间和时间上的重要特征。为降低输入数据量,通常抽取局部视频帧作为输入,为降低采样帧与整体视频之间的不稳定差异,设计了自适应等间隔采样策略。实验表明,在未预训练的情况下,本网络在UCF-101和HMDB-51数据集上分别将Top-1精度提高了5.1%和3.3%,并且不会大幅增加所需参数。

摘要：现有的基于帧预测的方法精度低的原因大多是不紧凑的正常分布学习,导致了异常事件的强泛化。对此,提出了动态运动约束下的视频异常检测(dynamic motion constraints for video anomaly detection,DMC-VAD)框架。提出了时空约束模块,使得模型能够基于光流显著目标和运动信息,对正常运动施加时空约束。设计了时空对齐融合模块,用校正对齐模块抑制光流中低质量的特征响应,增强正常帧的全局外观与运动上下文约束。这些动态约束能够使模型学习到更紧凑的正常分布,异常帧因为偏离这些约束从而产生高误差。引入光流重构以更好地训练运动编码器,融合光流平均误差和视频帧峰值信噪比作为异常分数。在UCSD Ped2和Shanghaitech上获得了最优的受试者操作特性(receiver operating characteristic,ROC)曲线下面积(area under curve,AUC):99.42%(+1.19%),74.50%(+0.28%)。在CUHK Avenue上获得了与AMSTE相当的结果(88.07%),但提出模型的参数量仅是AMSTE的16%。

摘要：在现有端到端的深度学习自动驾驶框架中,普遍存在规划控制预测精度低的问题,这往往是由于输入数据源单一、无法兼顾时间和空间信息而导致的。为更好地体现虚拟仿真测试中自车与环境、交通参与者的历史交互过程对当前时刻决策的影响,本文设计了一种用于自动驾驶仿真环境下车辆运动规划任务的多级时空注意力长短期记忆网络。该算法提取和表征自动驾驶环境的深层抽象信息,并在仿真平台中实现端到端的车辆运动控制。首先,将前视摄像头模型获取的RGB仿真数据的历史连续视频帧序列作为输入,使用卷积模块提取单一时刻图像的空间特征;其次,使用LSTM模块融合图像历史时刻的空间信息,从而获得时间上下文特征。同时,为提高对时空关键信息的提取能力并加速网络收敛,本文在多级时空特征的融合部分采用了时空注意力机制。本研究在Carla仿真平台上进行了测试验证,实验结果表明本文所提出的方法相比单一时空算法更能精确地模仿人类驾驶决策行为。

摘要：由于野外监控传感系统中背景干扰较多、小目标像素点较少以及缺乏相关公开数据集等因素,在野外复杂环境中检测运动小目标仍然是国防军事应用中一个具有挑战性的问题。针对这一问题,提出一种基于YOLOv5改进的双帧融合目标检测网络(YOLO-DFNet)。首先,提出双帧融合模块用来处理骨干网络输出的相邻帧特征,通过计算通道及时间维度的注意力和空间注意力,提取运动特征;其次,在颈部网络与检测头之间设计一个时间梯形融合网络,关注不同大小感受野上的运动目标,改善大位移小目标的检测效果。在野外运动小目标数据集FMSOD上的实验结果表明:YOLO-DFNet在不同IoU上的平均精度比YOLOv5算法提高3.9个百分点,同时也优于TPH-YOLOv5、YOLOv7等其他目标检测网络。

摘要：针对现有的骨骼行为识别方法对人体行为的运动信息利用不足的问题,提出一种基于运动特征的时空注意力图卷积(STA-GCN)行为识别模型。对动作捕捉设备采集到的关节点运动轨迹和速度信息进行建模,在时间和空间构建注意力权重矩阵,结合图卷积网络进行特征提取,能够关注到具有判别力的关节点和时间帧。通过在自建动作捕捉数据集和NTU-RGB+D数据集的CS和CV标准上进行实验,其结果表明,该模型增强了对人体骨骼行为信息的理解能力,验证了模型对行为识别的有效性。

摘要：针对目前仅单独考虑价格序列中样本的趋势或仅考虑多个关联属性与价格间的函数关系,而不能更准确地进行房价预测的问题,构建了时空注意力图卷积长短期记忆模型AG-LSTM,包含局部特征提取模块、区域特征提取模块、复合预测模块。局部特征提取模块分别使用同构图和异构图神经网络提取各小区及价格关系属性、各小区和配套邻居节点相关性的特征信息;区域特征提取模块先对邻近小区节点进行聚类,再结合图注意力网络获得小区节点对所属区域的重要性程度,建立区域与小区之间的映射矩阵,根据小区节点信息和映射矩阵得到区域特征;复合预测模块使用长短期记忆模型对由局部特征和区域特征组成的复合特征进行时序建模,实现房价预测。以链家网北京房价数据进行了实验,结果表明AG-LSTM预测结果优于已有基线模型。该模型同时挖掘了小区间位置关系、小区与其配套间位置关系、多个关联属性、价格时序趋势对房屋价格的影响,较好地实现了房屋价格的预测。