微信扫码
添加专属顾问
我要投稿
Qdrant 在前几天发起了一些重大声明,提到创造了一个新的算法,命名为BM42,用以取代古老的 BM25(甚至更现代的 SPLADE算法)。
对Qdrant不熟悉的小伙伴,提一点,Qdrant是目前OpenAI正在使用的向量库,所以说明各方面可信度都挺高的。
在他们的帖子中,提到:BM25已经统治了搜索引擎40年了,但是BM25在最新的RAG应用场景表现并不好,所以快来看我们的新算法BM42-一个结合语义和关键词的搜索算法。
通过将单词重要性评分(transformer注意力)与IDF等统计指标相结合来解决语义+关键字搜索的问题,声称在各个场景都有优势,如下图
很快,来自 Vespa(竞品公司)的 @Jo Bergum 指出 Quora作为数据集是非常奇怪的,因为这是一个检测句子相似重复的数据集,而不是问答检索数据集。具体点呢,就是 Quora 数据集每个query只有约 1.6 个相关的候选,因此评测种的 precision@10 结果显然是错误的,声称每 10 个query中有4个候选。
最新,Cohere 的 @Nils Reimers 使用 BM42, 在金融、生物医学和维基百科领域的更好数据集上重新运行,遗憾的是 BM42 在所有方面都表现不佳:
Qdrant最新的公关回复,对结果进行了修正,并推送了最新的修正后的代码。但是仍然被质疑评测的BM25分数太低,正常可能能达到0.91。
算是最新的大瓜了,早上刷到了很多帖子。天气太热,吃瓜消遣一下~
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-30
通俗易懂的梳理MCP的工作流程(以高德地图MCP为例)
2025-04-30
一文说明 Function Calling、MCP、A2A 的区别!
2025-04-30
MCP很好,但它不是万灵药|一文读懂 MCP
2025-04-30
旅行规划太难做?5 分钟构建智能Agent,集成地图 MCP Server
2025-04-29
10万元跑满血版DeepSeek,这家公司掀了一体机市场的桌子|甲子光年
2025-04-29
谷歌大神首次揭秘Gemini预训练秘密:52页PPT干货,推理成本成最重要因素
2025-04-29
一文说清:什么是算法备案、大模型备案、大模型登记 2.0
2025-04-29
MCP:AI时代的“万能插座”,大厂竞逐的焦点
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28
2025-04-28