MCM-ICE:联合独立编码和协同编码的多模态分类模型

作     者：郭锐锋 魏靖烜 于碧辉 孙林壮 GUO Ruifeng;WEI Jingxuan;YU Bihui;SUN Linzhuang

作者机构：中国科学院沈阳计算技术研究所沈阳110168 中国科学院大学北京110049 

基　　金：国家重点研发计划项目(2019YFB1405803)资助 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2024年第45卷第9期

页      码：2080-2086页

摘      要：多模态数据处理是一个重要的研究领域,它可以通过结合文本、图像等多种信息来提高模型性能.然而,由于不同模态之间的异构性以及信息融合的挑战,设计有效的多模态分类模型仍然是一个具有挑战性的问题.本文提出了一种新的多模态分类模型——MCM-ICE,它通过联合独立编码和协同编码策略来解决特征表示和特征融合的挑战.MCM-ICE在Fashion-Gen和Hateful Memes Challenge两个数据集上进行了实验,结果表明该模型在这两项任务中均优于现有的最先进方法.本文还探究了协同编码模块Transformer输出层的不同向量选取对结果的影响,结果表明选取[CLS]向量和去除[CLS]的向量的平均池化向量可以获得最佳结果.消融研究和探索性分析支持了MCM-ICE模型在处理多模态分类任务方面的有效性.

主 题 词：多模态数据处理 特征表示 特征融合 协同编码 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.20009/j.cnki.21-1106/TP.2023-0179

馆 藏 号：203122490...