我要投稿

提升NL2SQL准确率的3点建议与实践参考

发布日期：2024-11-07 07:51:01 浏览次数： 3241 作者：沙丘社区

ChatBI通过将复杂的数据分析过程简化为用户与机器的对话，使得用户无需具备专业的数据分析技能，也能轻松获取所需的数据洞察，将极大地降低数据分析门槛，提高数据分析的效率和便捷性。

基于大模型的NL2SQL是当前实现ChatBI的核心技术路线，但也是ChatBI最大的技术难点。当前从企业实践来看，端到端ChatBI产品的准确率最高能够达到85%左右，意图识别、模型微调、NL2SQL取数等多个环节都会造成准确率的折损。具体来看，企业在开发ChatBI时往往会遇到如下挑战：

· 自然语言的不确定性：由于存在歧义和缺少规范，自然语言查询往往含有不确定性，例如词义歧义、句法歧义、信息不足和用户错误；

· 数据库的复杂性和数据的不完整性：数据库架构的复杂性和数据体量的庞大性对NL2SQL任务的有效执行构成了挑战，包括表之间的关系复杂性、列名的相似性、特定领域的架构设计以及海量的“脏数据”；

· NL2SQL转换：不同于将高级编程语言翻译为低级机器语言，NL2SQL任务在输入的自然语言和输出的SQL查询之间通常存在一对多的映射；

· 开发NL2SQL的技术挑战：成本效益、模型性能、SQL转化效率、训练数据、可信度和可靠性等方面都会给NL2SQL的实现带来难题。

通过沙丘智库对业界多家企业ChatBI实践的调研与观察，为了提高NL2SQL的准确率，如下经验值得参考：

第一，澄清用户意图。用户意图理解是ChatBI实现的第一步，直接影响到后续结果，企业需要保证对用户意图识别的准确率，可以通过可视化产品交互的方式允许用户对提问进行二次干预，确保用户传递给大模型的意图是清晰准确的；

第二，升级模型底座。企业应选择参数量更大或能力更强的大模型，模型参数量的扩大对NL2SQL准确率的提升存在明显效果（但需要考虑到成本效率的问题），同时建设数据飞轮，沉淀高质量数据对大模型进行微调也可以持续优化准确率；

第三，完善指标建设。推动底层数据建设的成本较高、周期较长，而数据指标体系可以快速覆盖核心业务场景，且通过对指标的统一建模、管理与消费，可以大幅提升数据口径的一致性。

沙丘智库长期跟踪调研大模型技术的发展，旨在帮助企业快速了解大模型最新、最全面的落地情况。沙丘智库通过研究滴滴、腾讯、招商银行、快手、哈啰出行等5家企业的ChatBI实践，旨在为其他企业的“大模型+数据分析”提供参考。

▎案例1：滴滴基于大模型的ChatBI实践

滴滴内部已落地ChatBI产品，提供指标分析、表分析、代码提效等功能，目前已集成到滴滴多个主要的大数据产品中。

在NL2SQL的准确率提升方面，滴滴主要进行了如下几方面的持续优化：

第一，在分析技术方面，一方面持续升级模型底座，另一方面，持续积累微调数据集，目前已达到数万量级；

第二，在分析对象方面，进行指标标准化建设；

第三，在分析产品方面，进行可信度增强设计。

完整内容：滴滴基于大模型的ChatBI实践

▎案例2：腾讯音乐ChatBI平台建设实践

腾讯音乐通过建设基于大模型的ChatBI平台，实现了用户通过自然语言与数据的交互，无需编写SQL或具备专业分析技能。该平台结合了headless BI和Text-to-SQL技术，优化了数据一致性、提高了Text-to-SQL的可靠性和效率，并通过结合对话式和表单式交互，提升了用户体验。

完整内容：腾讯音乐ChatBI平台建设实践

▎案例3：招商银行基于大模型的数据分析实践

招商银行基于大模型开发DataGPT，提供大模型交互式数据分析问答能力，实现数据查询、图表绘制、深度分析等功能，实现门槛低、成本低、个性化的数据分析目标。

从流程上看：首先，prompt输入中包括用户提问的信息、元数据信息、数据内容以及需要给模型的业务知识；将prompt输入给DataGPT后，对任务进行拆解，针对步骤调用工具，例如代码解释器、深度分析工具、寻求用户帮助等；调用工具执行后将工具分析结果、代码执行结果或用户反馈返回给DataGPT；最终，输出分析报告、数据可视化呈现。

完整内容：招商银行基于大模型的数据分析实践

▎案例4：快手智能化BI产品建设实践

快手以企业级BI能力为复用，结合大模型，实现BI场景的智能化，目前已经在取数、找数、可视化、分析、运营五大场景、10余个小场景完成了BI智能化落地，通过智能化功能显著提高了分析效率，如SQL续写功能使得AI智能化生成并执行的代码数占用户新增代码数的10%，展现了智能化BI产品的实际应用价值。

完整内容：快手智能化BI产品建设实践

▎案例5：哈啰出行大模型业务提效实践

哈啰基于DSL实现BI助手，DSL本身定义了指标、维度、表、查询日期。基于DSL的BI助手生成的稳定性更强，如果不能准确生成相关的报表分析则拒答，目前拒答率是30%，一旦生成准确率接近100%。

完整内容：哈啰出行大模型业务提效实践