摘要：【目的】解决传统文本分类中分类器容易将属于不同标签但拥有许多相似修饰词的商品标题文本错误分类的问题,提高分类器的表现。【方法】本文设计了文本判别器作为辅助任务,其损失函数为不同标签文本向量的归一化欧氏距离,并结合传统文本分类主任务的交叉熵损失函数,推动文本编码器为不同类别的商品文本生成有足够区分度的文本表示,构建了ITR-BiLSTM-Attention模型。【结果】对比没有使用文本判别器的BiLSTM-Attention基础模型,ITR-BiLSTM-Attention模型在准确率、精确率、召回率和F1值4个指标上分别提高1.84百分点、2.31百分点、2.88百分点、2.82百分点;对比文本判别器使用余弦相似度损失函数的CosBiLSTM-Attention模型,ITR-BiLSTM-Attention模型在4个指标上分别提高0.53百分点、0.54百分点、1.21百分点、1.01百分点。【局限】未测试不同采样方式对模型的影响,未在更广泛的数据集上进行实验。【结论】本文设计的文本判别器辅助任务确实能够改进文本编码器生成的文本表示;构建的基于改进文本表示的商品文本分类模型相比于传统的商品文本分类算法具有更好的表现。

摘要：二十世纪九十年代以来自动文本分类技术受到人们的广泛重视,取得了大量的研究成果,但这些研究大多集中在机器学习算法本身的创新或改进上面,涉及文本表示的理论或实验研究都相对较少,通过在语料库Reuters-21578上进行大量对比实验,本文着重考查了影响文本表示的五个主要因素:"功能词"、"词根"、"取值方式"、"权方式"和"规范化",对线性支持向量机分类性能的影响以及这些因素之间的交互作用,找到了能显著提高文本分类效果的最佳文本表示方式.

摘要：文本中的词并非都具有相似的情感倾向和强度,较好地编码上下文并从中提取关键信息对于情感分类任务而言非常重要。为此,提出一种基于情感评分的分层注意力网络框架,以对文本情感进行有效分类。利用双向循环神经网络编码器分别对词向量和句向量进行编码,并通过注意力机制加权求和以获得文档的最终表示。设计辅助网络对文本的词、句进行情感评分,利用该评分调整注意力权重分布。在探究文本的情感信息对分类性能的影响后,通过辅助网络进一步促使模型关注情感色彩强烈的信息。在4个常用情感分类数据集上的实验结果表明,该框架能够关注文本中的情感表达并获得较高的分类准确率。

摘要：类案检索是法学和计算机相关学科的交叉应用,类案检索技术旨在通过类案判定获得候选检索结果。当前研究分别从法律和计算机两个视角展开,通过技术与领域的深度融合实现类案检索以精准服务法官判案需要,尽管类案检索技术研究逐渐体系化,但尚未存在相关技术发展的系统性综述。为此,首先分析在法学上类案界定标准的变化,以浅层和深层文本表示方法为划分标准,论述相似案例匹配技术研究进展;其次比较中国裁判文书网、“法信”“北大法宝”3类案检索平台的特点;最后提出构建大型标注数据集、设计可解释性算法和提升检索效率是未来类案检索技术的主要发展方向。实验表明,现阶段类案检索平台数量多,但大都处于起步阶段,缺乏具备可解释的稳定算法是影响其发展的重要因素。

摘要：为解决重大安保任务中,情报人员在进行可疑人员情报研判时效率低下的问题,提出一种面向情报研判的可疑人员文本表示方法。针对可疑人员信息库的特点,将文本分类领域的文本表示方法应用到情报研判领域,引入文本类别参数,改进TF-IDF算法,提升算法提取分类特征的能力;通过属性加权的文本表示方法将可疑人员信息制作成特征向量,使用支持向量机实现可疑人员情报研判。实验验证了该方法的可行性,其研判精确率达到98.8%,满足实际研判任务要求的标准,为情报人员提供了高质量的研判参考。

摘要：目的:针对现有的文本特征加权方法对文本进行向量化表示时,依赖于词频来确定单词的重要性,无法准确表达文本信息,从而导致文本表示过程中特征信息的丢失,准确率低下等问题。方法:提出一种基于任务优化文本表示学习的文本分类算法。通过引入加权因子,设计一种加权向量空间模型对每个特征进行加权,将单词的上下文信息和任务信息结合起来,采用Softmax回归算法迭代地对模型参数和文本表示进行优化学习,在提高分类性能的同时,获得对此任务最优的文本表示模型。结果:根据分类任务学习到的特征词的权值能够更加准确地表达文本的分类信息。与其他分类算法相比,本文提出的WVSM-Softmax算法精度提高了约0.8%~8.7%。结论:基于任务优化文本表示学习的Softmax回归算法在文本分类中具有更好的性能。

摘要：文本表示不仅是自然语言处理的基础工作,还是信息检索、文本分类、问答系统的关键。就传统文本而言,主要采取计数表示形式,此方法设定词和词之间是相互独立的,直接忽视了文本语义信息,而且在选择特征时,引进了一些人为影响因素,从而获取了高纬度与高稀疏文本特征,无法充分表示文本。这就需要进一步创新设计文本表示方法,据此,该文主要对深度学习视域下的文本表示方法进行了详细分析。

摘要：本文开展了基于混合深度信念网络的多类文本表示与分类方法的研究,以解决传统的Bag-ofWords(BOW)表示方法忽略文本语义信息、特征提取存在高维度高稀疏的问题。文章基于文本关键字,针对多类的分类任务(如新闻文本和生物医学文本),以关键字的词向量表示作为文本输入,同时结合深度信念网络(Deep Belief Network,DBN)和深度玻尔兹曼机网络(Deep Boltzmann Machine,DBM),设计了一种混合深度信念网络(Hybrid Deep Belief Network,HDBN)模型。文本分类和文本检索的实验结果表明,基于词向量嵌入的深度学习模型在性能上优于传统方法。此外,通过二维空间可视化实验,由HDBN模型提取的高层文本表示具有高内聚低耦合的特点。

摘要：短文本由于其稀疏性、实时性、非标准性等特点,在文本特征选择和文本表示方面存在较多问题,从而影响文本分类精度。针对文本特征选择方面存在较高的特征维数灾难的问题,提出一种二阶段的文本特征选择算法。首先在互信息算法的基础上,引入平衡因子、频度、集中度、词性及词在文本中的位置等5个指标对互信息值进行计算,然后将排序结果靠前的特征集初始化进行遗传算法的训练从而得到最优特征集合。因为TFIDF在计算时针对的是整篇语料而没有考虑类间分布不均的情况,在计算IDF公式时引入方差,并将改进后的TFIDF公式对Word2Vec词向量进行加权表示文本。将改进算法应用在人工构建的百科用途短文本语料集中进行实验,实验结果表明改进的文本特征选择算法和文本表示算法对分类效果有2%～5%的提升。

摘要：对抗样本生成通过在原文本中添加不易察觉的扰动使深度学习模型产生错误输出,常用于检测文本分类模型的鲁棒性。现有对抗样本生成方法多数采用黑盒或白盒攻击,在生成对抗样本的过程中需要和受害模型交互,且攻击效果依赖于受害模型的结构和性能,通用性较差。面向中文文本的对抗样本生成方法使用的变换策略过于单一,无法生成多样化的中文对抗样本。针对这些问题,提出一种基于原型网络的对抗样本生成(AEGP)方法。在全面分析汉字结构特点和人类阅读习惯的基础上,设计8种可保持语义一致的中文文本变换策略。将卷积神经网络作为编码器,构建原型网络,利用同一类别下的其他文本辅助发现所需变换的文本片段。针对选择的文本片段应用文本变换策略,生成对抗样本。实验结果表明,AEGP方法具有较好的通用性,能生成多样化的对抗样本,且相比于基线方法,分类模型在AEGP方法生成的对抗样本上的准确率下降了9.21~32.64个百分点。