摘要：为了提高图像理解(Image Captioning)的预测性能,设计了一种基于"融合门"的深度神经网络模型。该"融合门"网络模型基于编码器-解码器结构设计,是卷积神经网络与循环神经网络的融合。算法首先将输入图像通过VGGNet-16网络进行卷积,得到对应的4096维输出向量,然后将卷积后的输出向量与标注语句向量合并,作为输入向量进入改进后的"融合门"网络,最后获得新的网络输出结果。上述过程按照时间步逐次迭代,最终完成网络训练。使用权威的CIDEr评价指标来评估该"融合门"网络的预测结果,实验结果表明,该网络的CIDEr值比"Neural Talk"网络的CIDEr值提高10.56%,其他相关的评价指标也有较大幅度提高。该网络结构不但预测指标高,而且其网络参数个数比"注意力机制"网络参数少21.1%,所需要的计算机资源更少,这使得将该网络应用在边缘计算中成为可能,对图像理解成果的推广起到关键作用。

摘要：图像是一种客观存在的事物,它以不同的模式向人们传递信息。图像理解就是模式分析和理解,是一门研究用计算机系统分析和理解图像,实现类似人类视觉系统理解外部世界的学科。介绍了图像理解的基本概念、原理以及与相关学科的联系和区别,综合分析总结了目前在图像恢复、图像分割及特征提取中常见的多种算法的特点,并且对图像理解的应用发展进行了一定的展望。

摘要：根据研究生阶段课程理论性、实践性、应用性、技术伦理和社会责任的要求,以计算机科学与技术、软件工程专业研究生“图像理解”课程为对象,阐述了课程面向交叉学科、关键技术和学术前沿的设计理念,设计了包含图像理解核心知识和递进式思想政治建设在内的课程目标,设置了“40%知识+60%能力”、“30%讲授+70%自修”的课程结构,提出了面向关键问题求解的“四位一体”课程教学模式,力求通过一门课程的教学活动,实现学生科学研究素养和科研报国情怀的不间断培养,实现高等院校培养高素质人才培养的目标。

摘要：设计了一种基于图像理解的智能车牌识别系统,利用水平和垂直投影进行车牌区域定位.通过基于垂直投影和模板匹配的字符分割方法有效地解决了背景变化、车牌尺寸变化、字迹模糊等问题,在对120幅472×332大小的车辆图像采用基于模板匹配的ORC识别方法,在Hausdorff距离分类器上进行了相关匹配测试实验.识别率达96.7％,识别时间稳定在0.3～1.2 s之间.

摘要：该文针对高维数据的快速聚类与回归问题及其在遥感图像分析中的应用等问题进行研究 .文中分析了改进的多层判别回归树的输入空间和和输出空间的联系 ,设计了改进的多层判别回归树的构造和检索算法 ,并且分析了它们的算法复杂度 ,还给出了系统实现和测试结果 ,最后在巡航导弹的地形匹配制导或弹道校正、遥感图像的城市绿化面积的估算以及纹理分析等应用领域进行了实践 .

摘要：基于内容图像检索是多媒体信息检索领域研究的热点 ,而现有的算法和系统离成熟的应用还相距甚远 ,其检索效率和准确性都相当低 .提高基于内容图像检索性能的关键在于实现对图像的对象级访问 ,但是已有的很多的基于区域的图像检索算法和系统都没有考虑多区域的匹配问题 ,因而不具有一般性、实用性 .文中提出一种基于二部图最大权匹配的图像相似性度量算法 ,该算法建立在图像分割的基础上 ,由于它能有效地解决多区域图像相似性度量问题 ,并能有效地避免由于分割不准确带来的影响 ,因此能极大地提高检索的相关性和准确性 .

摘要：纹理分割已经取得了很大的进展 ,但仍然缺乏一个轻便的解决方案 建立了一个无监督纹理分割框架 ,其核心是将Gabor滤波器所提取的特征视为统计量 ,用独立分量分析 (ICA)整合特征 ,并用独立分量作为新的纹理特征 ,避开了Gabor滤波器参数选择的难题 实验结果表明 ,ICA比主分量分析更利于纹理特征重整

摘要：提出了一种基于边缘检测算子的视频对象提取算法 ,用于在视频会议、新闻等视频序列的关键帧编码中提取视频对象的区域 ,为随后的运动估计和检测提供参考对象 首先分析了两种常用的边缘检测算子 :Marr算子和Canny算子 ,并分别对视频关键帧进行边缘检测 ;然后从边缘图像中扫描出对象区域 ,生成掩码图像 ;最后与原始图像进行与操作得到对象 实验表明 :采用Canny算子能够提高关键帧中视频对象提取的正确性 。

摘要：鉴于施工现场中工人与施工机械及施工用具之间不合规的交互关系是引发安全事故的重要原因,提出了一种基于施工场景的视觉关系检测方法。首先,采用卷积神经网络搭建实体检测和关系检测分支,以提取出施工场景中的实体特征和关系特征;其次,构建视觉模块、语义模块和空间模块对提取出的特征进行学习,使网络充分感知和理解视觉信息、语义信息与空间信息;最后,设计了一种图形对比损失函数,以提高模型的视觉关系检测性能。在自制的施工场景关系检测数据集上的实验结果表明,本文方法实现了75.89%、77.64%、78.93%的R@20、R@50、R@100召回率,具有良好的视觉关系检测性能,能精准地检测出施工场景中的目标及其交互关系。

摘要：多样化图像描述生成已成为图像描述领域研究热点.然而,现有方法忽视了全局和序列隐向量之间的依赖关系,严重限制了图像描述性能的提升.针对该问题,本文提出了基于混合变分Transformer的多样化图像描述生成框架.具体地,首先构建全局与序列混合条件变分自编码模型,解决全局与序列隐向量之间依赖关系表示的问题.其次,通过最大化条件似然推导混合模型的变分证据下界,解决多样化图像描述目标函数设计问题.最后,无缝融合Transformer和混合变分自编码模型,通过联合优化提升多样化图像描述的泛化性能.在MSCOCO数据集上实验结果表明,与当前最优基准方法相比,在随机生成20和100个描述语句时,多样性指标m-BLEU(mutual overlap-BiLingual Evaluation Understudy)分别提升了4.2%和4.7%,同时准确性指标CIDEr(Consensus-based Image Description Evaluation)分别提升了4.4%和15.2%.