基于知识注入的大语言模型水印

作     者：陈可江 李帅 张卫明 俞能海 CHEN Kejiang;LI Shuai;ZHANG Weiming;YU Nenghai

作者机构：中国科学技术大学网络空间安全学院合肥 230026 

基　　金：国家自然科学基金(U2336206 62102386 62072421) 

出 版 物：《网络空间安全科学学报》 (Journal of Cybersecurity)

年 卷 期：2024年第2卷第1期

页      码：63-71页

摘      要：大语言模型凭借其出色的文本理解能力和生成能力,在自然语言处理任务上取得了优异的表现。训练大语言模型需要高质量的标注数据、昂贵的算力资源,这使其成为重要的数字资产,具有极高的商业价值,但是却存在被盗用等知识产权泄露风险。因此,亟须发展大语言模型水印技术,以保护模型的版权。现有基于无盒水印的大语言模型水印可以保护模型的版权,但是这些方法水印隐蔽性不足、生成文本质量下降,并且难以应用于模型开源场景。为了解决上述问题,提出了一种基于知识注入的大语言模型水印方法。在嵌入水印阶段,将水印嵌入到自定义知识中,并通过监督微调让大语言模型学会带水印的知识。在水印提取阶段,模型拥有者只需要设计与水印知识相关的问题,询问待检测的大语言模型,根据模型的回答提取水印信息,并通过实验验证了该方法的有效性、保真性和鲁棒性。

主 题 词：大语言模型 水印 知识注入 监督微调 隐蔽 鲁棒性 

学科分类：08[工学] 0839[0839] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.20172/j.issn.2097-3136.240105

馆 藏 号：203127803...