SQL-to-text模型的组合泛化能力评估方法

作     者：陈琳 范元凯 何震瀛 刘晓清 杨阳 汤路民 CHEN Lin;FAN Yuankai;HE Zhenying;LIU Xiaoqing;YANG Yang;TANG Lumin

作者机构：复旦大学计算机科学技术学院上海200433 星环信息科技(上海)股份有限公司上海200233 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年第50卷第3期

页      码：326-335页

摘      要：数据库的结构化查询语言(SQL)到自然语言的翻译(SQL-to-text)能提高关系数据库的易用性。近年来该领域主要使用机器学习的方法进行研究并已取得一定进展,然而现有翻译模型的能力仍不足以投入实际应用。由于组合泛化能力是SQL-to-text模型在实际应用中提升翻译效果的必要能力,且目前缺少对此类模型组合泛化能力的研究,因此提出一种SQL-to-text模型的组合泛化能力评估方法。基于现有的SQL-to-text数据集生成大量SQL和对应的自然语言翻译(SQL-自然语言对),并按SQL-自然语言对所含SQL子句的个数将其划分为训练数据与测试数据,使测试数据中的SQL子句皆以不同的组合方式在训练数据中出现,从而得到可评估模型组合泛化能力的新数据集。评估结果表明,该方法对查询知识的使用程度较高,划分数据的方式更加合理,所得数据集符合评估组合泛化能力的需求且贴近模型的实际应用场景,受到原始数据集的限制程度更低,并证实现有模型的组合泛化能力仍需提升,其中针对SQL-to-text任务设计的关系感知图转换器模型组合泛化能力最弱,表明原有的SQL-to-text数据集对组合泛化能力的考察存在欠缺。

主 题 词：结构化查询语言 组合泛化 机器翻译 数据库 长短期记忆模型 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.19678/j.issn.1000-3428.0067251

馆 藏 号：203126670...