RAG Evaluation Harness — retrieval and generation metrics
- Результат
- recall@5 и MRR = 1.00 на 20 вопросах и 0.00 на 11-вопросном контроле с промахами ретрива (MRR@all 0.12) — метрика способна падать; correctness 0.37 у офлайн-базлайна (faithfulness ≡1.00 — инвариант экстрактива); ретрив и генерация оцениваются раздельно
Pythonscikit-learnpandas / NumPyTF-IDFpytestuv