摘要：使用大语言模型进行工艺规范的应用是解决工艺知识查询不准确的有效途径。现阶段通过领域知识图谱嵌入或指令数据微调的领域模型构建方法效果不佳,难点在于工艺规范中工艺知识涉及多种工艺要素间关系,复杂度较高。各规范间仅通过引文方式使用导致数据稀疏。工艺知识复杂度高及数据稀疏导致模型对工艺领域概念、概念与属性间关系、概念与概念间关系、多概念间关系及参考依据知识的学习受限。针对该难点,提出一种面向工艺规范文本的大语言模型知识注入方法。根据工艺规范数据特点设计了包含辅助句判别任务、概念-篇章生成任务、篇章续写任务及篇章-摘要生成任务的知识注入数据,结合问答对数据对模型进行有监督微调,为模型注入领域概念、属性、多概念间关系及参考依据知识。实验结果表明,结合知识注入数据和问答对数据训练的模型对比只使用问答对数据训练的模型ACC(准确率)提升7.3个百分点,ROUGE-L提升7.4个百分点,BLEU-4提升6.2个百分点,表明提出的知识注入方法的有效性。

摘要：专利是授予发明者在一定时期内保护其发明的法定权利,在当今的社会活动中发挥着重要作用。然而现有研究并未针对专利相似度数据进行适配优化,导致其应用在专利短语相似度匹配任务中效果不佳。已有研究表明,在低资源的场景下,提示学习将文本片段(模板)作为输入,将分类问题转换为掩码语言建模问题,其关键的一步是在标签空间和标签词空间之间构造一个投影。提出一种基于知识注入的提示学习方法,将其应用于专利短语相似度匹配计算任务。为解决专利短语信息不足的问题,利用专利短语中的相似度标签信息,使用知识增强专利短语与标签信息。首先通过实体链接技术建立专利短语与外部知识的关联关系;然后设计一种基于实体影响度的邻域信息过滤机制,用于缓解专利短语信息不足的问题;最后考虑不同外部知识对专利短语相似度计算的影响,设计应用于专利短语的多种增强提示文本。实验结果表明,该方法的Pеarson相关系数(PCC)和Spеarman相关系数(SRC)相较次优对比方法分别提升6.8%和5.7%。

摘要：大语言模型凭借其出色的文本理解能力和生成能力,在自然语言处理任务上取得了优异的表现。训练大语言模型需要高质量的标注数据、昂贵的算力资源,这使其成为重要的数字资产,具有极高的商业价值,但是却存在被盗用等知识产权泄露风险。因此,亟须发展大语言模型水印技术,以保护模型的版权。现有基于无盒水印的大语言模型水印可以保护模型的版权,但是这些方法水印隐蔽性不足、生成文本质量下降,并且难以应用于模型开源场景。为了解决上述问题,提出了一种基于知识注入的大语言模型水印方法。在嵌入水印阶段,将水印嵌入到自定义知识中,并通过监督微调让大语言模型学会带水印的知识。在水印提取阶段,模型拥有者只需要设计与水印知识相关的问题,询问待检测的大语言模型,根据模型的回答提取水印信息,并通过实验验证了该方法的有效性、保真性和鲁棒性。