摘要：近几年,基于Transformer的预训练模型展现了强大的模态表征能力,促使了多模态的下游任务(如图像描述生成任务)正朝着完全端到端范式的趋势所转变,并且能够使得模型获得更好的性能以及更快的推理速度.然而,该技术所提取的网格型视觉特征中缺乏区域型的视觉信息,从而导致模型对对象内容的描述不精确.因此,预训练模型在图像描述生成任务上的适用性在很大程度上仍有待探索.针对这一问题,提出一种基于视觉区域聚合与双向协作学习的端到端图像描述生成方法(visual region aggregation and dual-level collaboration,VRADC).为了学习到区域型的视觉信息,设计了一种视觉区域聚合模块,将有相似语义的网格特征聚合在一起形成紧凑的视觉区域表征.接着,双向协作模块利用交叉注意力机制从两种视觉特征中学习到更加有代表性的语义信息,进而指导模型生成更加细粒度的图像描述文本.基于MSCOCO和Flickr30k两个数据集的实验结果表明,所提的VRADC方法能够大幅度地提升图像描述生成的质量,实现了最先进的性能.

摘要：场景文本检索是指从场景中搜索并定位与给定文本相同或相似的文本实例。通过计算机视觉方法实现文本检索可以辅助用户在指定场景中自动找到感兴趣文本,因此被广泛应用于图像安全性审核、图书检索等领域。然而,在某些场景中文本时常呈现弯曲、压缩和拉伸等不规则形态,文本区域提取与匹配面临极大挑战。为了解决这一问题,建立了一个端到端网络模型,将不规则文本提取和跨模态相似度学习统一到一个框架内,利用学习到的相似度对检测的文本实例排序,从而实现对不规则文本的检索。在SVT,STR和CTR三个数据集的实验结果表明,与现有文本检索方法相比,提出的框架在推理速度保持3.7帧/秒的情况下平均准确率比现有最好方法提升1%~3%。为了进一步验证所提方法对于不规则文本检索的有效性,建立了一个新的不规则文本数据集AIDATA,并与STR-TDSL方法进行对比实验,结果表明,在推理速度降低不到20%的情况下可以将平均准确率提升25%以上。

摘要：图像语义分割对场景理解等具有重要的作用,是当前计算机视觉领域研究的一个热点问题。针对当前图像语义分割方法存在的精度低等问题,提出语义分割-对抗模型(Semantic Segmentation Generative Adversarial Networks, SSGAN)。模型采用Deeplab-VGG16作为生成模型,通过对输入真实样本的学习,生成语义分割图;采用金字塔池(Atrous Spatial Pyramid Pooling, ASPP)作为判别模型,对人工标记图与生成分割图进行高阶规律统计。在数据集POSCALVOC2012上实验得到mIOU为0.823,较Adversarial提高0.24。SSGAN模型通过将对抗模型与传统语义分割模型相结合,既保持传统语义分割模型端到端的训练方式,又具有对抗网络自主学习能力,避免人工设计对应的高阶损失项产生的不匹配。最后通过剪枝与权值量化共享将模型压缩为原来的0.045。实验证明本文所提方法具有可行性。

摘要：当下流行的基于自编码网络的图像融合算法不仅需要对提取到的特征设计复杂的融合规则以解码出融合图像,设计的融合策略也无法适用于多样化的场景。针对以上问题,提出了一种自适应特征融合的红外与可见光图像融合算法以端到端的方式输出融合图像,避免了复杂融合规则的设计且具有较好的鲁棒性。网络利用自编码模块提取出图像的特征,对特征级联后解码出图像,由于联合损失函数的约束,融合图像得以保留源图像的细节并具有良好的结构信息和梯度信息,图像整体结构分明。在公开的TNO数据集上与当下流行的五种融合算法相比较,所提出的方法在主观效果和客观评价上都取得了好的成绩。