摘要：针对雨雾等复杂天气下无人机图像质量下降导致目标检测效果不佳的问题,提出基于上下文引导和提示学习的目标检测算法CGP-YOLO(context-guided and prompt-based YOLOv8)。构建一个多任务联合学习的检测网络,通过双分支结构达到平衡图像检测和恢复的任务。提出基于提示学习的跨层注意力加权图像去噪分支,指导网络利用退化提示重构清晰的图像;模型主干设计基于上下文的残差采样模块,集成卷积注意力机制,综合目标的局部和全局信息;采用可分离大核多尺度特征提取模块,处理网络多尺度特征;引入小目标的专用检测头,增强小目标的检测精度。实验结果表明,在参数量仅为基线模型60%的情况下,该模型的检测精度提高了2.4个百分点,平均精度(mAP)提高了2.04个百分点,模型检测效果优于其他经典模型,具备卓越的性能。

摘要：为解决中文小样本命名实体识别(NER)任务所面临的问题和挑战,提出了一种面向中文小样本NER的BERT优化方法,该方法包含两方面的优化:首先,针对训练样本数量不足限制了预训练语言模型BERT的语义感知能力的问题,提出了ProConBERT,一种基于提示学习与对比学习的BERT预训练策略.在提示学习阶段,设计掩码填充模板来训练BERT预测出每个标记对应的中文标签词.在对比学习阶段,利用引导模板训练BERT学习每个标记和标签词之间的相似性与差异性.其次,针对中文缺乏明确的词边界所带来的复杂性和挑战性,修改BERT模型的第一层Transformer结构,并设计了一种带有混合权重引导器的特征融合模块,将词典信息集成到BERT底层中.最后,实验结果验证了所提方法在中文小样本NER任务中的有效性与优越性.该方法结合BERT和条件随机场(CRF)结构,在4个采样的中文NER数据集上取得了最好的性能.特别是在Weibo数据集的3个小样本场景下,模型的F 1值分别达到了63.78%、66.27%、70.90%,与其他方法相比,平均F 1值分别提高了16.28%、14.30%、11.20%.此外,将ProConBERT应用到多个基于BERT的中文NER模型中能进一步提升实体识别的性能.

摘要：随着定位技术和传感器的高速发展,用户移动轨迹数据日渐丰富,但大多分散在不同平台上。为了全面利用这些数据并准确反映用户的真实行为,对轨迹用户匹配的研究变得至关重要。该任务旨在从海量签到轨迹数据中精准关联用户身份。近年来,研究者们尝试运用循环神经网络、注意力机制等方法深入挖掘轨迹数据。然而,当前方法在处理用户签到轨迹时面临两大挑战:一是签到数据中有限的时空特征不足以从主观和客观两个角度全面地建模签到点信息,二是用户的签到轨迹往往围绕着一个特定的主题。针对这两点挑战,提出了一种基于自然语言增强的轨迹用户匹配模型(Natural Language Augmented Trajectory User Link,NLATUL)。首先,设计了一套自然语言模板与软提示令牌来描述签到轨迹,并使用语言模型来理解签到点中的主观意图,融合用户的时空状态,提供了一种充分从主观与客观两个方面建模签到点的方法;在此基础上,通过提示学习的方法推理签到轨迹的主题,并对建模的签到点表示的轨迹进行双向编码,通过签到轨迹主题与签到轨迹编码的结合实现对用户签到轨迹的准确理解。在两个真实世界签到数据集上验证的实验结果表明,NLATUL能够更准确地匹配签到轨迹与其对应的用户。

摘要：文档图像智能问答是实现数字图书馆智能化的关键技术之一。基于多模态预训练模型的文档图像智能问答技术能有效实现文本、视觉和布局信息的融合,但通常需要进行针对性的微调训练,成本高且无法应用于一些数据资源稀缺的场景。以ChatGPT为代表的大语言模型具有良好的零样本学习能力,无需针对性微调即可在各个下游任务上取得良好表现,但大语言模型只能处理纯文本指令,无法直接处理文档图像。因此,提出利用空格符和换行符来模拟表示文档图像中文本间的相对位置关系,生成布局感知文本,并针对不同任务构造不同的指令模板,以文本指令形式指导大语言模型生成符合任务要求的答案。实验证明这种布局与任务感知的指令设计与微调方法显著提升了多种大语言模型的零样本文档图像智能问答表现,其最佳组合在DocVQA、InfographicVQA和MP-DocVQA 3个文档图像问答评测集上的零样本平均规范化莱文斯坦相似度分别为0.8651、0.5451和0.6129,达到甚至超过布局感知预训练模型的全量微调表现水平。所提方法还应用在大学数字图书馆国际合作计划(CADAL)民国报刊扫描文档智能问答场景中,提高读者在扫描文档中定位所需答案的效率。

摘要：文本属性图时下逐渐成为图研究领域的一个热点。在传统的图神经网络研究中,所使用到的节点特征通常是由文本信息转化来的浅层特征或者是人为手动设计的特征,如跳字模型和连续词袋模型。近年来,随着大型语言模型的出现,自然语言处理方向的研究发生了深刻的变革。这种变革不仅影响了自然语言处理的相关任务,还开始渗透到图神经网络。因此,最近的图工作中也开始引入语言表征模型和大语言模型用于生成新的节点表征,旨在进一步挖掘更加丰富的语义信息。在现有的工作中,大多数模型还是采用传统GNN架构或对比学习的方式。在对比学习一类的方法中,由于传统节点特征和语言模型生成的节点表征并不是由统一的模型生成的,因此这类方法面临着处理2个位于不同向量空间的向量的挑战。基于以上的挑战和考量,提出一个名为GRASS的模型。具体来说,模型在预训练任务中引入了通过大语言模型扩充得到的文本信息,对其与经过图卷积的文本信息进行对比学习;在下游任务中,为了减少微调的成本,GRASS对齐了下游任务和预训练任务的形式。通过这个模型,使得GRASS在不需要微调的情况下,能够在节点分类任务上表现良好,尤其是在小样本场景下。例如,在1-shot场景下,比起最优基准模型,GRASS在Cora,Pubmed和ogbn-arxiv数据集上的准确度分别提升了6.10%,6.22%和5.21%。

摘要：随着大语言模型的迅速发展,大语言模型的安全性逐渐引起了研究者和公众的密切关注.为了防止大语言模型在与人类协作中对人类产生伤害,如何确保大语言模型在日常场景中的判断能与人类道德观念相符成为了一个重要问题.其中一个关键的挑战是,如何确保大语言模型在道德判断方面,能够像人类那样,针对不同的情境,灵活地调整或重新考虑预定的规则,从而使其判断与人类的道德观念保持一致.受心理学和认知科学中关于人类道德判断的情感和认知影响因素研究的启发,结合大语言模型在认知推理和情感分析能力上的优势,设计了一种模仿人类道德判断过程中情感判断和认知判断能力交互的方法,从而提升了大语言模型的道德判断表现.实验结果证明了所提方法在该任务上的有效性.总的来说,不仅为大语言模型的道德判断提供了一种创新的方法,也强调了心理学与认知科学理论在此领域的重要性,为未来的进一步研究奠定基础.

摘要：以对比语言-图像预训练(Contrastive language-image pre-training, CLIP)模型为基础,提出一种面向视频行为识别的多模态模型,该模型从视觉编码器的时序建模和行为类别语言描述的提示学习两个方面对CLIP模型进行拓展,可更好地学习多模态视频表达.具体地,在视觉编码器中设计虚拟帧交互模块(Virtual-frame interaction module, VIM),首先,由视频采样帧的类别分词做线性变换得到虚拟帧分词;然后,对其进行基于时序卷积和虚拟帧分词移位的时序建模操作,有效建模视频中的时空变化信息;最后,在语言分支上设计视觉强化提示模块(Visual-reinforcement prompt module,VPM),通过注意力机制融合视觉编码器末端输出的类别分词和视觉分词所带有的视觉信息来获得经过视觉信息强化的语言表达.在4个公开视频数据集上的全监督实验和2个视频数据集上的小样本、零样本实验结果,验证了该多模态模型的有效性和泛化性.

摘要：遥感变化检测作为观测和分析地表变化的重要手段,以双时相图像为输入,旨在预测变化发生的“位置”。近期出现的基础模型,例如SAM模型(Segment Anything Model),展现出强大的通用性和泛化能力,有望为变化检测任务提供更为有效的解决方案。然而,由于遥感图像的特殊成像特性,它们在许多遥感应用中的直接使用往往效果不佳。此外,SAM模型最初被设计用于分割单时相图像,其通过人工添加点或框的提示来实现,但这种过于直观的方法在处理双时相图像输入时并不适用。为了应对上述挑战,本文提出了一种基于时差提示SAM的遥感变化检测方法(TDPS),充分发挥SAM模型强大的视觉识别能力,以改进对遥感图像的变化检测。具体而言,本文首先在SAM骨干网络中引入了低阶可微调参数,以减轻自然图像到遥感图像上的域偏移。其次,本文设计了时相差异提示生成器,通过将双时相图像的特征与查询嵌入一起优化,得到适用于变化检测任务的提示向量。最后,大量实验证明了本文方法的有效性,在两个常用的变化检测数据集LEVIR-CD和WHU-CD上取得了最先进的性能,F1指标相比于最先进方法分别提升了1.4%和2.5%。

摘要：【目的/意义】针对冲突事件领域数据集较少,现有事件抽取方法强依赖于大量数据,在低资源场景上面临着训练效果差、泛化能力不足的问题,本文提出了一种基于先验提示模板的小样本事件抽取方法PriorPromptEE。【方法/过程】本文首先基于“政治、军事”维度,完善冲突事件表示框架,采用人机协同方式,构建冲突事件小样本数据集。其次,本文为提示模板设计构造策略,在模型编码层嵌入基于先验知识的提示模板,输出层采用双指针实现事件元素的预测。【结果/结论】实验结果表明,PriorPromptEE能够在冲突事件小样本数据集上取得较好效果。对比序列模型,提升42%至45%,对比传统事件抽取模型,提升19%至45%,对比提示学习零样本抽取模型,提升19%,PriorPromptEE达到0.85,验证了该方法的有效性。【创新/局限】本文从“政治、军事”维度完善了冲突事件表示框架,采用提示学习的方式为冲突事件的核心元素抽取提供了新的思路,未来可从经济、舆情等维度完善表示框架,强化冲突事件抽取模型框架。

摘要：面向全国的学生综合评价与发展平台采集了百万级学生跳绳运动数据用于中小学生身体素质测评,然而在采集的跳绳视频中存在着非跳绳视频、人物未全身出镜等不符合拍摄要求的各类异常视频,严重影响了后续学生身体素质测评模型的准确性和鲁棒性。针对上述问题,提出一种联合语义提示和记忆增强的弱监督跳绳视频异常检测方法。该方法首先提取正常跳绳视频和异常跳绳视频的视觉特征,将正常特征和异常特征成对训练,增强模型对异常视频特征的感知能力;其次设计两个自监督记忆网络分别存储和分离正常视频和异常视频的特征,进一步增强模型的特征表达能力;最后引入提示学习方法迁移大规模预训练模型中的多种跳绳异常类型的语义先验知识,增强模型在样本不足的情况下对多种异常类型语义信息的理解。实验结果表明,该方法在自建的跳绳异常检测数据集(SRAD)上的AUC为94.14%,相较于基准方法提升了2.71个百分点,具有较高的准确性。该方法对实现身体素质的智能测评、推动教育评价改革具有重要意义。