「精度UP・使いやすさUP」の実装を一気に載せます。必要なところだけコピペ導入でOKです。 6) 精度ブースト:再ランカー+BM25のハイブリッド検索 ベースは埋め込み検索(FAISS)ですが、伝統的なBM25と再ランカーを足すと命中率がグッと上がります。
BM25の仕組み 「検索」と聞くと、単にキーワードが含まれているかチェックするだけと思われがちですが、BM25はもっと「人間らしい」判断をします。 例えば、あなたが 「Pythonのリスト内包表記」 と調べたとしましょう。
The "competitive baseline" referenced in the two above papers is BM25+RM3, with proper parameter tuning, on the test collection from the TREC 2004 Robust Track (Robust04). Scripts referenced on this ...
DR-Venus reproduction with local BM25 search replacing Serper/Jina/LLM. Optimized for 4×A800 GPUs. - YPFsam/DR-Venus-LocalSearch ...