基于对比语言图像预训练的情感增强仇恨模因检测

作     者：郑智龙 张兴茂 王文智 黄清宝 程皓楠 ZHENG Zhilong;ZHANG Xingmao;WANG Wenzhi;HUANG Qingbao;CHENG Haonan

作者机构：广西大学电气工程学院南宁530004 广西艺术学院通识教育学院南宁530022 中国传媒大学媒体融合与传播国家重点实验室北京市100024 

基　　金：媒体融合与传播国家重点实验室(中国传媒大学)开放课题(SKLMCC2023KF005) 广西自然科学基金重点项目(2024JJD170001) 国家自然科学基金(62276072) 

出 版 物：《信息传播研究》 (Information and Communication Research)

年 卷 期：2024年第31卷第6期

页      码：69-76页

摘      要：仇恨模因检测是一项具有挑战性的多模态任务,需要模型理解视觉与语言中的隐含语义,并进行跨模态理解交互。针对中文领域的仇恨模因检测任务,本文构建了一个数据集CHmemes,并设计了一个基于CLIP(contrastive language-image pre-training)的情感增强Transformer模型(E2TC,emotion-enhanced Transformer model based on CLIP)作为基线模型。该模型利用图像和文本中的情感信息来增强从CLIP中提取到的特征,然后结合图像中与仇恨相关的人物属性信息以提高模型对于图像中仇恨内容的关注度。最后,采用图像描述作为监督机制以防止模型过拟合。所提出的E2TC模型在CHmemes数据集上以77.67%的AUROC值和72.71%的准确率超越了多个对比模型,验证了情感特征和图像属性信息对于仇恨模因检测的重要性。

主 题 词：CLIP 中文仇恨模因检测 情感增强 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16196/j.cnki.issn.1673-4793.2024.06.003

馆 藏 号：203156860...