微信扫码
与创始人交个朋友
我要投稿
LLM是目前学术界研究的热点,同时工业界也在快速探索LLM在业务中的落地。本篇文章给大家介绍来自WWW24的一篇文章,介绍了淘宝电商将LLM用在了搜索场景中的query改写上,精心构建的领域特定数据集对LLM进行finetue,定义三种不同的优化目标并使用Preference Rank Optimization损失学习候选之间的偏序关系,极大的解决了长尾query中的“few-recall”问题。
论文标题:Large Language Model based Long-tail Query Rewriting in Taobao Search
下载地址:https://arxiv.org/pdf/2311.03758
已有的query改写工作集中在两个方向:
判别模型:从候选词集合中预估最优的词。这种方法依赖于精心构造的词典作为重写的候选集合,否则query改写后语义有可能发生偏移。
生成模型:使用transformer系的模型,根据原始query直接生成改写词,有些方法会加入强化学习和对比学习的思路。但是这种方法受限于模型的参数量,参数提升会提升模型的表达能力。目前LLM在query改写上有一些工作,但由于对没有使用query改写特定任务对大模型进行fine-tune,还存在一定的局限性。
本文提出了BEQUE框架(a comprehensive framework that Bridges the sEmantic gap for long-tail QUEries),框架包含三个阶段,如下图所示:
第一阶段 Multi-instruction Supervised Fine Tuning:使用多领域数据集对LLM进行finetune,主要包括Query Rewriting Dataset和辅助数据集2个部分。
Query Rewriting Dataset: 使用基线改写策略,对原始query取相关性TOPN的改写query。为了进一步优化数据集相关性,限制原始query和改写query的相关性必须大于某一阈值。基线改写策略对长尾query效果不佳,即便原始query和改写query语义上具有相关性,但是召回的商品集合未必相关。因此使用拒绝负采样,query和改写query召回商品后,要求用户真实交互过的商品数大于一定阈值,来保证和query和改写query在召回商品集合上的相关性:
辅助数据集:为增强LLM对长尾query的理解能力,使用quality classification,product title prediction,Chainof-thought,三个辅助数据集对LLM进行finetune
第二阶段 offline feedback:设计多个函数多角度评估改写query质量,包括relevance、increment、hitrate等3个评估方法。
relevance:即便原始query和改写query 语义上具有相关性,但是召回的商品集合未必相关。因此定义相关性指标来衡量改写前后召回商品的相关性。淘宝离线评估方法用来评估query和召回商品标题的相关性,因此定义改写query召回商品和原始query的相关性如下:
increment:query改写可以增加商品召回的数量,解决“few-recall”的问题。因此定义增量指标来衡量query改写后是否增加了召回商品的数量:
hitrate: 定义命中率指标,如果搜索场景之外成交过的某件商品和原始query相关性大于一定阈值,那query改写后应尽量召回该商品:
第三阶段 object alignment:强制模型学习改写query之间pairwise的偏序
使用PRO Loss来pair wise地学习改写query之间的顺序:
模型的最终Loss为监督微调的loss + PRO loss
模型离线效果如下表所示。从上图可以看到,与多种基线相比,BEQUE与多种基线相比,在多个测试集上的rele指标略为逊色,在incr/hitrate指标上有极大幅度的提升。
在线应用方面,由于LLM难以满足在线serving的时效性需求,无法直接在线使用。因此对torso query,离线inference改写后的query,将改写前后的query以key-value graph的形式存储,确保在线及时响应,覆盖淘宝主搜27%的PV。原始query和改写query召回的商品取并集进入后续的排序环节。14天在线AB实验中,在GMV && 订单量 && UV上都取得了正向效果。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2023-06-30
2024-04-02
2024-05-28
2024-07-11
2024-07-10
2024-06-29
2024-04-12
2024-04-20
2024-07-02
2024-06-17