摘要：命名实体识别为推动智能系统建设和科技情报服务起到重要作用。针对领域实体识别存在的标注成本高、识别准确率不高问题,从引入通用领域信息、削减孤立点影响的角度出发,设计基于语义相似度与不确定性度量的主动迁移学习方法。该方法结合预训练迁移学习模型来提高分类准确性,通过融合主动学习采样策略来减少标注成本。利用金融科技和通用领域语料库进行一系列实验,实验结果表明该方法能够有效地提高识别准确率,减少标注成本。

摘要：文章对社交网站引流机器人账号和正常人类账号的发文行为、发文内容特征进行研究,在此基础上提出5类特征指标。以新浪微博数据为例,结合bert算法和机器学习算法,设计并实现了一套基于发文特征的引流机器人账号智能检测模型。实验结果表明,本套智能检测模型能够有效识别出新浪微博引流机器人账号。

摘要：目的:为智能医疗的网络问诊设计一个前端任务模块,对互联网真实医患对话文本进行自动标注研究,探索识别对话实体阴阳性准确率较高的方法。方法:对医患对话真实文本特点进行分析,选取bert及bert-WWM对医患对话真实文本中的实体进行嵌入向量化,再通过语义信息获取,最终对实体属性进行分类和计算,自动标注其阴阳性。结果:实验结果表明bert-WWM在处理中文对话的实体分类标注时优于bert约16%。结论:优先选择全词掩码,以单元(Unit)来替代以字为单位的掩码对医学类实体进行分类和标注,可大大提高原模型的准确度。

摘要：现有的多模态情感分析方法大多都是采用不同的模型来提取特征,模型之间特征的提取都是独立的过程,并且由于不同模态之间天然跨度较大,导致后续模态也难以有效融合,为了充分利用多模态信息,实现更有效的模态交互。为此提出了SCA-CLIP框架,即基于对比语言-图像预训练(CLIP)的多模态情绪分析网络。我们使用基于CLIP的编码器从图像和文本中提取强相关的深度表示,之后利用设计的堆叠交叉注意机制对跨模态的信息进行充分的交互以及融合,并且整个模型中通过利用bert的多头注意力机制来维护可学习向量序列来捕捉有效信息,最后对典型的情绪分析数据集进行了广泛的实验。结果表明,所提出的框架在挖掘多模态情绪分析的关键特征方面具有更好的能力,能实现比原来更好的性能,即在MVSA-Single和MVSA-Multiple上的整体准确率分别提高了2.51%和1.3%。

摘要：对基于语义匹配和BiLSTM的机器翻译技术实现的方法进行了研究与设计,以中英翻译为例,搭建了一种基于bert-BiLSTM机器翻译模型。首先,选择BiLSTM网络与基于bert的语义匹配模型作为词向量生成算法,对待翻译的文本特征进行提取;然后,以BiLSTM网络为载体搭建基于BiLSTM网络的编码器,并引入词素切分方法,解决英语时态多变导致编码时容易出现歧义的问题;同时搭建基于bert的注意力层对中英双语词语的对齐概率进行计算;并由单个隐藏层的解码器进行解码操作;最后,对词向量生成算法与机器翻译模型进行实验测试。测试结果表明:设计的bert-BiLSTM词向量生成模型精确度为91.87%,准确率达97.01%,较对照组的三种模型平均提高了3.3%;基于bert-BiLSTM的机器翻译模型的平均BLEU值为94.88%,比其他三种机器翻译模型提高了6%左右;表明bert-BiLSTM模型更适合作为中英机器翻译的词向量生成算法,机器翻译模型的翻译质量得到大幅提高。

摘要：多标签情感分类任务旨在处理一个实例可能与多个情感标签关联的问题。现有的大多数多标签情感分类模型都是基于完整的数据设计,模型性能和语义易受到数据本身存在的不完全性影响。针对此问题本文提出一种基于栈式降噪自编码器的跨语言多标签情感分类模型,引入标签感知损失函数弥补训练带来的损失。该模型通过栈式降噪自编码器对词向量去噪以构建原始数据的低维特征,降低特征空间的噪声干扰,为下游任务提供有效特征表示。在SemEval2018的3种语言数据集(即英语、阿拉伯语和西班牙语)多标签情感分类实验中,该模型在测试集上的micro_F1、macro_F1、jaccard这3个指标均得到提升,其中macro_F1分别提升了约0.82、1.45和1.83个百分点。

摘要：针对GloVe、bert模型生成的字向量在小语料库中表义不足的问题,提出融合向量预训练模型,对小语料中文短文本分类的精确度进行提升。本文以今日头条新闻公开数据集为实验对象,使用GloVe、bert模型通过领域预训练,对GloVe与bert生成的预训练字向量进行向量融合,实现语义增强,从而提升短文本分类效果。结果表明,当语料库中的数据量为500时,融合字向量的准确度相较于bert字向量的准确度提升了5个百分点,相较于GloVe字向量的准确度提升了3个百分点。词义选取的维度待进一步加强。本文所提方法能够对小语料库的短文本数据实现精准分类,对后续文本挖掘工作具有重要意义。

摘要：军事命名实体识别是军事情报分析和作战信息服务的基础。为了解决军事文本中分词不准确、形式多样以及语料库缺乏的问题,文中提出了一种基于预训练模型与神经网络的军事命名实体识别方法。通过bert预训练模型构建词向量,利用BiLSTM神经网络处理上下文信息的优势,同时加入注意力机制,并通过条件随机场进行解码,完成了军事命名实体识别任务。在自构建的军事文本语料库上的实验结果表明,该模型F1值为92.14%,优于其他的传统方法。

摘要：针对序列标注标签预测空间大导致模型预测效果较差的问题,提出一种基于bert-BiLSTM-Fusion的多方面抽取及情感分析模型。采用跨度预测的方法进行方面词抽取与方面词情感预测分类并联合训练,通过bert预训练语言模型得到文本嵌入表示,使用BiLSTM学习观测序列上的依赖关系增强学习位置信息,提高模型抽取效果。对bert预训练语言模型的每一层输出特征进行特征融合,提高模型的情感极性分类效果,并且在三个公开数据集Laptop、Restaurant、Twitter上设计对比实验以及消融实验。实验结果显示,bert-BiLSTM-Fusion模型的F1值分别达到了66.72%、78.44%、62.10%,且高于对比模型,表明了所提出模型的有效性。

摘要：三元组抽取的目的是从非结构化的文本中获取实体与实体间的关系,并应用于下游任务。嵌入机制对三元组抽取模型的性能有很大影响,嵌入向量应包含与关系抽取任务密切相关的丰富语义信息。在中文数据集中,字词之间包含的信息有很大区别,为了改进由分词错误产生的语义信息丢失问题,设计了融合混合嵌入与关系标签嵌入的三元组联合抽取方法(HEPA),提出了采用字嵌入与词嵌入结合的混合嵌入方法,降低由分词错误产生的误差;在实体抽取层中添加关系标签嵌入机制,融合文本与关系标签,利用注意力机制来区分句子中实体与不同关系标签的相关性,由此提高匹配精度;采用指针标注的方法匹配实体,提高了对关系重叠三元组的抽取效果。在公开的DuIE数据集上进行了对比实验,相较于表现最好的基线模型(CasRel),HEPA的F1值提升了2.8%。