摘要：针对现有方法存在特征表达受限、无法捕获API序列全局语义信息,且恶意软件数据集通常包含大量无标注数据,无法直接进行有监督学习等问题,利用自然语言预训练模型技术,提出一种基于API调用序列和预训练模型的恶意软件检测方法。使用原始API序列构建分词器;基于BERT模型构建出动态掩码序列模型进行无监督学习的预训练,同时获取API序列的全局动态编码表示;使用该编码构造检测模型。实验结果表明,所提方法能有效检测出恶意软件。

摘要：针对航天航空领域资料保密审查的严格要求,现有的人工筛查方法存在成本高昂、关键词匹配精度不足等问题,提出了一种结合大模型的审查方法,用于提升涉密信息的筛查效率和准确性。首先分析了航天航空领域涉密信息的特点,提出了一种基于大模型的保密审核增强架构,该架构结合了动态垂类专家System Prompt,能够从技术涉密和商业涉密等多个角度提高审查的细粒度和准确率。通过引入基于关键词的动态System Prompt机制,实现了大模型语义理解能力与关键词实时更新能力的有效结合。此外,为了防止大模型的过度审核,设计了一种混合式交叉微调策略,显著提高了涉密信息的召回率,达到了96%。通过在自研的1000条高质量测试集上的实验,本增强框架可以将全球已发布的主流大模型在保密审核任务上的准确率提升18%,验证了本文提出框架的有效性。

摘要：虽然以ChatGPT为代表的自然语言生成(NLG)大语言模型在自然语言处理中的大多数任务中取得了良好的表现,但其在序列识别任务,如命名实体识别任务中的表现暂且不如基于BERT的深度学习模型.针对这一点,本文探究性的通过将现有的中文命名实体识别问题改造成机器阅读理解问题,提出并设计了基于情境学习和模型微调的新方法,使NLG语言模型在识别命名实体达到了更好的效果,并且该方法不同于其他方法需要改变基层模型的预训练参数.同时,由于命名实体是模型生成的结果而不是对原始数据的分类,不存在边界问题.为了验证新框架在命名实体识别任务上的有效性,本文在多个中文命名实体识别数据集上进行了实验.其中,在Resume和Weibo数据集上的F1分数分别达到了96.04%和67.87%,相较于SOTA模型分别提高了0.4和2.7个百分点,从而验证了新框架能有效利用NLG语言模型在文本生成上的优势完成命名实体识别任务.

摘要：为了有效缓解基于交叉熵损失函数训练的传统文本摘要模型所面临的推理过程中性能下降、泛化性较低、生成过程中曝光偏差现象严重、生成的摘要与参考摘要文本相似度较低等问题,提出了一种新颖的训练方式,一方面,模型本身以beamsearch的方式生成候选集,以候选摘要的评估分数选取正负样本,在输出的候选集中以“argmax-贪心搜索概率值”和“标签概率值”构建2组对比损失函数;另一方面,设计作用于候选集句内的时序递推函数引导模型在输出每个单独的候选摘要时确保时序准确性,并缓解曝光偏差问题。实验表明,所提方法在CNN/DailyMail和Xsum公共数据集上的泛化性得到提升,Rouge与BertScore在CNN/DailyMail上达到47.54和88.51,在Xsum上达到了48.75和92.61。

摘要：模型微调是一种重要的迁移学习技术,在各种缺乏训练数据的任务中取得了显著成功,并且只需少量训练时间就能获得满意效果。然而,随着网络模型规模和结构复杂性增加,为特定目标任务设计合适的微调方案变得越来越困难。为了解决这个问题,本文提出了一种基于粒子群优化的自适应微调算法。该算法将预训练模型中的微调层选择问题建模为参数优化问题,并基于种群进化思想,自适应地为目标任务找到合适的层微调方案。实验结果表明,该算法能够精确地求解适合目标任务的层微调方案,并且能够显著提升微调性能。与标准微调基线方法相比,本文算法只需要几次迭代即可实现具有竞争力的性能,从而大幅度减少了训练时间。

摘要：为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。

摘要：为解决基于RGB图像的异常行为识别无法有效利用帧间运动信息的问题,采用深度学习思想,提出一种基于时空融合方法的双流卷积神经网络对异常行为进行识别。使用VGGNet16构建双流模型,以RGB图片和连续光流帧作为网络的输入,有效利用视频流信息。使用UCF101数据集预训练网络模型,将模型迁移学习到CASIA数据集上并微调网络。实验结果表明,与Multi-resolution CNN方法和Two-stream CNN (AlexNet)方法相比,该方法具有更高的准确率。