摘要：视觉自动问答技术是一个新兴的多模态学习任务,它联系了图像内容理解和文本语义推理,针对图像和问题给出对应的回答.该技术涉及多种模态交互,对视觉感知和文本语义学习有较高的要求,受到了广泛的关注.然而,视觉自动问答模型的训练对数据集的要求较高.它需要多种多样的问题模式和大量的相似场景不同答案的问题答案标注,以保证模型的鲁棒性和不同模态下的泛化能力.而标注视觉自动问答数据需要花费大量的人力物力,高昂的成本成为制约该领域发展的瓶颈.针对这个问题,本文提出了基于跨模态特征对比学习的视觉问答主动学习方法(CCRL).该方法从尽可能覆盖更多的问题类型和尽可能获取更平衡的问题分布两方面出发,设计了视觉问题匹配评价(VQME)模块和视觉答案不确定度度量(VAUE)模块.视觉问题评价模块使用了互信息和对比预测编码作为自监督学习的约束,学习视觉模态和问题模式的匹配关系.视觉答案不确定性模块引入了标注状态学习模块,自适应地选择匹配的问题模式并学习跨模态问答语义关联,通过答案项的概率分布评估样本不确定度,寻找最有价值的未标注样本进行标注.在实验部分,本文在视觉问答数据集VQA-v2上将CCRL和其他最新的主动学习算法进行了性能比较,实验结果表明该方法在各个问题模式下均超越之前的方法,该方法对比当前性能最好的主动学习方法在不同的采样率下平均提升了1.65%的准确率.在仅标注30%的数据下,该方法可以达到100%样本标注下性能的96%;在40%的标注比例之下,该方法可以达到100%样本标注下性能的97%.这说明该方法可以选取出具有高指导价值的样本,节约了标注花费的同时最大化视觉自动问答的模型性能.

摘要：视频行人重识别在监控场景中起着非常重要的作用.但是,大多数现有方法没有充分利用行人视频序列的时空信息.具体来说,这些方法以相同的分辨率和网络结构处理每一帧图像,造成连续帧特征的高度相似.此外,现有方法通常通过引入各种复杂的操作提高精度,过多的计算开销使其不利于真实场景的部署.针对上述问题,本文提出了一个时序多尺度互补网络,旨在高效地为视频的连续帧提取互补的特征.具体来说,时序多尺度互补网络包含多个具有不同输入分辨率的分支.其中,高分辨率分支处理原始分辨率帧,用于保留行人的细节线索;低分辨率分支处理以不同降采样率得到的低分辨率帧,用于捕捉更全局的行人信息.通过将连续帧输入到不同分支中,连续帧能关注不同粒度的空间区域,生成互补的特征.进一步,设计了一个多分支批量归一化层,保证了训练时分支之间的互补性.最后,提出一个跨分支融合模块,将低分辨率分支的全局信息逐步传播到高分辨分支中,得到一个融合了多尺度全局粗粒度和局部细粒度互补信息的特征.在iLIDS-VID,MARS和LS-VID三个数据集上的实验显示,本文提出的方法达到了比目前最好方法更好的性能,例如,在LS-VID上提升了4.5%mAP和3.1%top-1精度,证明了该方法的有效性.此外,通过降低输入帧的分辨率和使用更小的网络处理低分辨率帧,本文方法大幅度降低了计算开销,仅需要大多数现有方法约35%的计算开销.

摘要：图神经网络能够有效学习网络语义信息,在节点分类任务上取得了良好的效果.但仍面临挑战:如何充分利用异质网络丰富语义信息和全面结构信息使节点分类更精准.针对上述问题,提出了一种基于图卷积的异质网络节点分类框架(heterogeneous network node classification framework, HNNCF),包括异质网络约简和图卷积节点分类,解决异质网络节点分类问题.通过设计转换规则约简异质网络,将异质网络化简为语义化同质网络,利用节点间的关系表示保留异质网络多语义信息,降低网络结构建模复杂度;基于消息传递框架设计图卷积节点分类方法,在语义化同质网络上学习无1-sum约束的邻居权重等网络结构信息,深入挖掘关系语义特征,发现不同连接关系和邻居语义提取的差异性,生成节点的异质语义表示用于节点分类,识别节点类别标签.在3个公开的节点分类数据集上进行了实验,结果表明HNNCF能够充分利用异质网络多种语义信息,有效学习邻居节点权重等网络结构信息,提升节点分类效果.

摘要：医用重离子加速器(Heavy-Ion Medical Machine,HIMM)中安装在束正电子发射断层扫描装置(In-beam Positron Emission Tomography,In-beam PET)可实现治疗时对肿瘤靶区的照射剂量和位置分布的实时监测功能。在束PET工作时,事件经探测器阵列采集,由前端数据获取单元(Data Acquisition Unit, DAQU)进行数字化后,通过光纤链路传输集中至中央处理模块(Central processor module, CPM),然后通过PCIe接口传输至上位机。单个前端数据获取单元获取的数据率最大可达2.2 Gbit/s,因此对数据传输链路的带宽提出了较高要求。由于前端数据获取单元的核心控件是Cyclone V系列FPGA,中央处理模块的核心控件是Kintex-7系列FPGA,不同公司的FPGA间实现可靠的实时通信也带来了挑战。基于以上问题,进行了应用于在束PET的光纤链路设计,实现了Cyclone V系列FPGA与Kintex-7系列FPGA间的稳定通信。经过测试,该设计达到了高稳定、无误码的实时性能指标。

摘要：芯片是现代信息社会的关键基础设施,未来人机物三元融合的智能万物互联时代将需要大量不同种类的专用体系结构芯片。然而,芯片设计本身代价很高,具有设计周期长、过程非常复杂、专业门槛高的特点。因此,智能万物互联时代芯片需求多和芯片设计代价高之间产生了巨大的矛盾。文章提出利用芯片学习(Chip Learning)来取代芯片设计以解决上述矛盾,即采用学习的方法来完成芯片从逻辑设计到物理设计的全流程。芯片学习的目标是通过学习使得芯片设计完全不需要专业知识和设计经验,可以在短时间、无人参与的情况下高效完成。

摘要：自然场景文本擦除技术可应用在图像通信中的隐私保护、图像编辑等领域,然而现阶段的场景文本擦除在面对背景复杂、文本尺度变化较大的场景图像时,难以提取鲁棒的文本特征,出现文本检测不全、背景修复不完整等问题.针对上述问题,文中提出基于多尺度注意力机制的场景文本擦除框架.该框架主要由背景修复网络和文本检测网络共同组成,它们共享一个主干网络.在背景修复网络中,设计纹理自适应模块,从原始特征的通道和空间两个维度进行特征编码,自适应地集成局部特征与全局特征,有效修复因重构文本区域而导致的阴影部分.在文本检测网络中,设计上下文感知模块,学习图像中文本区域和非文本区域之间的判别关系,有效区分文本区域和非文本区域,提升文本检测的效果.此外,为了增强网络的感受野,改进不同尺度文本的擦除效果,提出多尺度特征损失函数,同时优化背景修复网络和文本检测网络.SCUT-SYN、SCUT-EnsText数据集上的实验表明,文中框架可取得较优的文本擦除性能.

摘要：通过评议文档与专家库的专家学术专长匹配,可以输出领域相关的候选专家列表,是同行评议中专家遴选和专家推荐的重要参考依据.针对学术专长匹配存在语义鸿沟、无法反映专家和评议文档多源信息间语义关联的问题,首先对专家信息和评议文档的多源信息进行语义特征抽取,融合多类特征进行表示学习,利用卷积神经网络设计专家特征抽取器ExpFeat和评议特征抽取器RevFeat,采用词嵌入方法和注意力机制对专家专长标签、评议文档关键词、学科分类树语义特征进行抽取和融合,生成具有“小同行”特征的专家和评议文档语义特征向量表示,解决多类信息源间不同学术分类标准造成的语义差异,反映内在语义联系,利用低维稠密向量表达语义信息,降低匹配复杂度.然后,根据专家语义特征表示和评议文档语义特征表示进行学术专长语义匹配,将专家和评议文档特征向量映射到相同语义空间,计算向量间余弦相似度衡量语义相似性,引入负例专家进行模型训练,通过softmax函数计算最大化正例专家概率优化特征提取器参数,进一步提升语义差异的捕捉能力,解决专家信息和评议文档之间的语义鸿沟问题,提升专家匹配效果.最后,在开源的论文评审数据集和项目评审数据集上进行了实验对比和实例分析,结果表明,本文所提方法可以有效提升专家匹配精准度.

摘要：短道速滑运动员滑行过程中存在尺度变化大、频繁遮挡、运动模糊以及外观相似等复杂情况,使得多目标追踪过程面临更为严峻的挑战.为此,构建一个短道速滑场景下由37段短道速滑运动员比赛视频片段组成多目标追踪数据集SSSMOT,并基于姿态信息提出一种多目标追踪方法.首先从锚框、损失函数和非极大值抑制3个方面优化YOLOv5检测模型,提高检测准确度;然后设计特征提取网络P-RNet,依据姿态信息的指引针对性地提取特征,提高特征鲁棒性;最后使用姿态关键点改进数据关联匹配方法,在一定程度上缓解因运动员外观相似导致匹配错误的问题.在SSSMOT和SKMOT数据集上与其他方法的实验结果表明,所提方法针对多目标追踪的准确度达到96.43%;并通过其他评价指标和消融性实验,证明了该方法的有效性和优越性.

摘要：正交时频空调制能够在高多普勒频偏下实现宽带可靠通信,是6G感通算融合场景中的潜在应用技术之一。针对该系统中接收机算法复杂度高、性能受限的问题,提出了一种基于修正残差神经网络的联合信道估计和信号检测方案,在无需获得显式信道信息的情况下直接恢复传输符号信息。根据时延-多普勒域信道的稳定性,将深度学习技术引入到接收机设计中,采用嵌入式导频的数据帧结构,设计了一种能够充分提取信号特征的轻量级残差神经网络模型,可以直接对时延-多普勒域信号输入输出关系进行拟合,实现隐式的信道估计并完成信号检测。联合设计方案利用实际通信链路中采集的数据进行离线训练,获取最优网络模型用于在线检测,以离线训练时间为代价来减少在线检测的耗时,同时借助误差反向传播机制和梯度下降准则实现信道估计和信号检测的联合优化,有效提升通信性能。仿真结果表明,与传统接收算法对比,所提方案兼具更强的鲁棒性和良好的泛化性,不仅降低了算法的复杂度,同时将误码率性能也提升了2 dB左右。

摘要：卫星工程参数异常检测是判断卫星与载荷健康状态的重要手段。传统异常检测方法通常针对具体的卫星或载荷设计,在处理新卫星和新载荷时需要重新建模和训练,然而新运行的卫星设备尚未产生足够的历史数据来支撑建模任务。融合深度学习和迁移学习思想,提出一种基于领域自适应的卫星工程参数异常检测方法。利用深度残差收缩网络(DRSN)结构框架,在训练过程中将无标签的目标域卫星工程参数数据加入网络训练过程,有效获取数据的特征表示。对提取到的数据特征使用距离度量,衡量所提取的源域特征与目标域特征之间的差异性,使得两者在特定特征空间上的分布相似,从而增强了DRSN利用已有标签数据对无标签数据的分类能力。在基于空间科学先导专项系列卫星工程参数构建的数据集上的实验结果表明,该方法的准确率达到98.03%,与梯度提升决策树、支持向量机、DRSN方法相比,迁移检测平均准确率分别高出20.95、22.51、15.02个百分点,能够有效对新卫星和新载荷开展快速准确的异常检测。