摘要：为了更好地利用视频帧中蕴含的时间信息,提升视频实例分割的推理速度,提出动态采样对偶可变形网络(DSDDN). DSDDN使用动态采样策略,根据前、后帧的相似性调整采样策略.对于相似性高的帧,该方法跳过当前帧的推理过程,仅使用前帧分割进行简单迁移计算.对于相似性低的帧,该方法动态聚合时间跨度更大的视频帧作为输入,对当前帧进行信息增强.在Transformer结构里,该方法额外使用2个可变形操作,避免基于注意力的方法中的指数级计算量.提供精心设计的追踪头和损失函数,优化复杂的网络.在YouTube-VIS数据集上获得了39.1%的平均推理精度与40.2帧/s的推理速度,验证了提出的方法能够在实时视频分割任务上取得精度与推理速度的良好平衡.

摘要：许多现实世界的系统可以被建模为多智能体系统,多智能体强化学习为开发这些系统提供了一种有效的方法,其中基于集中训练与分散执行范式的价值函数分解方法得到了广泛的研究.然而现有的价值分解方法一般缺乏通信机制,在处理需要通信学习的多智能体任务时表现不佳.同时,目前大多数通信机制都是针对同构多智能体环境设计的,没有考虑异构多智能体场景.在异构场景中,由于智能体动作空间或观测空间的异构性,智能体之间的信息共享并不直接.如果不能对智能体的异构性进行有效地建模处理,通信机制将变得无效,甚至会影响多智能体的协作性能.为了应对这些挑战,本文提出一个融合价值函数分解和通信学习机制的异构多智能体强化学习框架.具体地:(1)与采用同构图卷积网络的方法不同,该框架利用异构图卷积网络融合智能体的异构特征信息得到有效的嵌入;(2)利用通信学习模块获得的嵌入信息和局部观测历史计算每个智能体的动作价值,以选择和协调智能体的动作;(3)通过设计的互信息损失函数和价值函数分解模块的损失函数联合训练,能够有效地训练整个方法.本文首先在两个异构多智能体平台上进行实验,实验结果表明该方法能学到比基线方法更有效的策略,在两个平台上相比基线方法分别提高了 13%的平均奖励值和24%的平均胜率.此外,在交通信号控制场景中验证了该方法在现实系统中的可行性.

摘要：多样化图像描述生成已成为图像描述领域研究热点.然而,现有方法忽视了全局和序列隐向量之间的依赖关系,严重限制了图像描述性能的提升.针对该问题,本文提出了基于混合变分Transformer的多样化图像描述生成框架.具体地,首先构建全局与序列混合条件变分自编码模型,解决全局与序列隐向量之间依赖关系表示的问题.其次,通过最大化条件似然推导混合模型的变分证据下界,解决多样化图像描述目标函数设计问题.最后,无缝融合Transformer和混合变分自编码模型,通过联合优化提升多样化图像描述的泛化性能.在MSCOCO数据集上实验结果表明,与当前最优基准方法相比,在随机生成20和100个描述语句时,多样性指标m-BLEU(mutual overlap-BiLingual Evaluation Understudy)分别提升了4.2%和4.7%,同时准确性指标CIDEr(Consensus-based Image Description Evaluation)分别提升了4.4%和15.2%.

摘要：知识追踪是构建自适应教育系统的核心和关键,常被用以捕获学生的知识状态、预测学生的未来表现。以往的知识追踪模型仅根据结构信息对问题、技能进行建模,无法利用问题、技能的多模态信息构造其相互依赖关系。同时,关于学生的记忆水平仅以时间做量化,未考虑不同模态对记忆水平的影响。因此,提出了融合遗忘机制的多模态知识追踪模型。首先,对问题、技能节点,以图文匹配作为训练任务优化单模态嵌入,并通过计算多模态融合后节点间的相似度,获得问题和技能的关联权重从而计算生成问题节点的嵌入。其次,通过长短期记忆网络获取带有遗忘因素的学生知识状态,并将其融入学生的答题记录中生成学生节点的嵌入。最后,根据学生的答题次数和不同模态的有效记忆率计算学生和问题间的关联强度,通过图注意力网络进行信息传播,预测学生对不同问题的答题情况。在两个真实课堂自采数据集上进行了对比实验和消融实验,结果表明所提方法比其他基于图的知识追踪模型具有更好的预测精度,且针对多模态和遗忘机制的设计能有效提升原始模型的预测效果。同时,通过对一个具体案例的可视化分析,进一步说明了所提方法的实际应用效果。

摘要：煤矿井下工作环境复杂,存在人造光源亮度低、粉尘多和水气密度大等不利因素,导致现有的目标检测算法在应用到煤矿井下时,存在提取特征困难、目标识别和定位精度低等问题。提出一种煤矿井下低照度环境目标检测算法,由矿井低光图像增强模块LMIENet和目标检测模块组成,使用图像增强模块对原始图像进行画质提升,恢复各类图像信息,再使用目标检测网络对增强图像进行特定目标检测,有效提高检测的精确度。在图像增强模块中,改进Zero-DCE算法设计轻量级增强参数预测网络,计算像素级增强参数矩阵,用于低光照图像的亮度调整和画质增强,该网络通过设计的非参考损失函数隐性衡量图像的增强效果,引导网络进行无监督学习,使网络能够不依赖配对数据集对原始图像进行自适应的画质增强。目标检测模块中,采用YOLO v8n目标检测模型,其轻量化的模型尺寸和高灵活性可避免模型整体复杂度过高;采用Focal-EIoU Loss改进回归损失函数,有效加速模型收敛并提升模型检测精度。实验结果显示:与经典目标检测算法Faster R–CNN,SSD,RetinaNet,FCOS等相比,提出算法在自建矿井人员数据集上表现出色,低光照环境下目标检测的mAP@0.5达到98.0%,mAP@0.5∶0.95达64.8%,在实验环境中单帧图像推理时间仅11 ms,优于其他对比方法,证明提出算法能够有效实现在煤矿井下低照度复杂环境下的目标检测,且耗时短、计算效率高。

摘要：为解决煤矿建设过程中数据积累存在的知识冗余现象,研究基于知识图谱(KG)的安全领域知识管理。从安全管理系统结构和安全隐患风险管理2个维度,系统化分析领域标准规范文本,界定煤矿建设安全管理领域的12类实体类型和10种关系类型,完善知识结构模式;选取领域43部标准规范为数据源,引入规则、机器学习法、深度学习法识别文本实体和关系;针对不同实体类型,提出领域知识综合方法框架,并对比分析双向长短期记忆(BiLSTM)和条件随机场(CRF)与双向编码器表示(BERT)-BiLSTM-CRF模型。研究结果表明:BERT-BiLSTM-CRF模型在准确率、召回率和F1值方面均比BiLSTM-CRF模型高出7%,验证了所选模型的优越性和准确性;通过知识抽取、知识存储及可视化等过程,挖掘出煤矿建设安全领域不同实体类型所包含的实体和不同实体间的关系。

摘要：煤粒粒度分布特征与煤中甲烷气体传播规律的分析密切相关。目前,基于图像分割的煤粒粒度分析方法已成为获取煤粒粒度的主流方案之一,但存在上下文信息丢失、煤粒特征融合不当造成煤粒漏分割和过分割等问题。针对上述问题,设计了一种基于双层路由注意力机制(BRA)的煤粒粒度分析模型。在残差U型网络ResNet-UNet中嵌入BRA模块,得到B-ResUNet网络模型:为减少在煤粒分割过程中出现的漏分割问题,在ResNet-UNet网络的上采样前添加BRA模块,使网络根据上一层的特征调整当前特征层的重要性,增强特征的表达能力,提高长距离信息的传递能力;为减少在煤粒分割过程中出现的过分割问题,在ResNet-UNet网络的特征拼接模块后添加BRA模块,通过动态选择和聚合重要特征,实现更有效的特征融合。对分割出的煤粒进行特征信息提取,针对实验分析中采用的煤粒数据集的煤粒粒度与细胞大小相当,为精确表征煤粒粒度,采用等效圆粒径获取煤粒粒度及粒度分布。实验结果表明:①B-ResUNet网络模型的准确率、平均交并比、召回率较ResNet-UNet基础网络分别提高了0.6%,14.3%,35.9%,准确率达99.6%,平均交并比达92.6%,召回率达94.4%,B-ResUNet网络模型在煤样中具有较好的分割效果,能够检测出较为完整的颗粒结构。②在上采样前和特征拼接后均引入BRA模块时,网络对煤粒的边缘区域给予了足够的关注,且对一些不太重要的区域减少了关注度,从而提高了网络的计算效率。③煤粒的粒度大小在1~2 mm内呈相对均衡的分布趋势,粒度在1~2 mm内的煤粒占比最大为99.04%,最小为90.59%,表明基于BRA的图像处理方法在粒度分析方面具有较高的准确性。

摘要：高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中,与5种先进的低照度图像增强算法相比,该算法增强图像的质量指标PSNR、SSIM、VIF平均提高了16.564%,10.998%,16.226%和14.438%,10.888%,14.948%,证明该算法能够有效提升整体图像亮度,消除照度不均,避免颜色失真和细节丢失,实现矿井低照度图像增强。

摘要：从低照度户外环境中航拍采集的绝缘子影像,存在照度低、背景复杂、绝缘子故障目标小等缺陷,严重影响低照度环境下绝缘子故障检测准确性。为解决上述问题,文章提出一种基于TOE-Net的低照度复杂环境下绝缘子故障检测方法,提出TOE-Net进行图像预处理方法,再使用YOLOv7-OL作为故障检测模块检测小目标绝缘子故障。在二阶段目标增强网络(two-stage object enhancement network,TOE-Net)中,设计零目标图像增强损失函数实现预增强网络(preparation enhancement network,PreEnNet)和深度增强网络(deep enhancement network,DeepEnNet)的无监督学习;使用信道级注意力模块跳跃式通道注意力机制(skip squeeze excitation networt,Skip_SENet)和跳跃式通道注意力机制(skip convolutional block attention module,Skip_CBAM)模块改进原始小目标特征增强单次多框检测算法(small object detection enhancement single shot multiBox detector,SDE-SSD),从而提升定位网络的小目标检测能力;设计弱监督机制使预增强网络根据小目标特征增强SSD的要求来提升图像增强能力,直到小目标特征增强SSD能够从增强图像中准确定位绝缘子串位置;使用深度增强网络深度增强绝缘子串区域,提升各类故障的特征显著性。故障检测模块中,将YOLOv7目标检测算法改进为面向小目标YOLOv7,在原模型中添加结合多尺度特征自适应融合网络的小目标检测通道,并将原始损失函数的CIOU改进为BIOU,从而提高模型的小目标检测性能。在低照度环境绝缘子故障检测实验中,该算法与5种目前常用目标检测算法相比具有较大优势,并且相较于低光目标检测算法IA-YOLO、GenISP with RetinaNet,m AP提升9.77%、10.35%,检测速度提升7.23%、10.16%,证明该算法适用于低照度复杂环境下小目标绝缘子故障检测任务;在正常光照绝缘子故障检测实验中该算法仍保持出色性能,证明该算法能够实现常规光照条件下绝缘子小目标故障检测。

摘要：在集中式移动群智感知中,云平台负责任务分发和数据收集等全部过程.当面对各种实时应用场景的需求时,云平台将面临数据计算、存储以及通信压力.针对上述问题,本文结合云边端体系结构,设计了两阶段的任务分配策略,分析参与者资源状态对任务的影响,构建了资源评估模型.以最小化任务平均响应时间为优化目标,以资源均衡为约束,提出了基于两阶段资源均衡的任务分配方法.该方法首先提出基于资源占用率的边缘服务器资源均衡任务分配方法,为边缘服务器选择任务集,再提出基于改进蚁群算法的参与者资源均衡任务分配方法,通过边缘服务器和参与者之间的协作实现资源均衡.仿真实验结果表明,本文所提算法同其他算法相比具有良好的性能.