一种通用的跨模态遥感信息关联学习方法

作     者：吕亚飞 熊伟 张筱晗 LÜ Yafei;XIONG Wei;ZHANG Xiaohan

作者机构：海军航空大学信息融合研究所山东烟台264000 海军研究院北京100086 北京市遥感信息研究所北京100086 

基　　金：国家自然科学基金(61790550 61790554 91538201) 

出 版 物：《武汉大学学报（信息科学版）》 (Geomatics and Information Science of Wuhan University)

年 卷 期：2022年第47卷第11期

页      码：1887-1895页

摘      要：针对“异质鸿沟”问题导致的不同模态遥感信息间相似性难以度量的问题,构建并公开了一个包含4种模态信息的跨模态遥感数据集,并基于不同模态信息间潜在的语义一致性,提出了一种通用的跨模态遥感信息关联学习方法。利用深度神经网络的表征能力,分别对图像类信息和序列类信息设计各模态信息的特征学习网络,实现对不同模态高层语义信息的准确表示;设计了一个新的关联学习损失函数对模态内的语义一致性和模态间的互补性进行限制,利用知识蒸馏的思想,以先融合后迁移各模态间信息的方式增强模态间的语义相关性。在构建的数据集上进行实验,结果表明,所提方法平均精度均值达到70%,超过基准方法。

主 题 词：跨模态检索 关联分析 深度学习 遥感图像 特征表示 

学科分类：083002[083002] 0830[工学-生物工程类] 081802[081802] 08[工学] 0818[工学-交通运输类] 081602[081602] 0816[工学-纺织类] 

核心收录：

D　O　I：10.13203/j.whugis20200213

馆 藏 号：203117754...