20 размеченных вопросов, корпус 12 документов, k ≤ 5 — больше отчёт не держит. Путь offline-extractive (без LLM). Переключатель — слой: что вытягивает поиск и что получается в ответах.
recall@kMRR@kprecision@k
k — сколько документов берём в контекст · значение от 0 до 1
—документов в корпусе
—размеченных вопросов
—recall@5 (и любой k)
—precision@5
recall@k и MRR равны 1,00 при любом k: золотой документ стоит на 1-м месте во всех 20 вопросах, значит на корпусе из 12 документов эти метрики упираются в потолок и ничего не различают. Различает precision@k — доля релевантного в окне: 1,00 → 0,33 → 0,20.
correctness по вопросам, бакеты по 0,2 · штриховая линия — среднее 0,37
—faithfulness (20 из 20)
—correctness, среднее
—медиана
—стандартное отклонение
—минимум — максимум
Вопрос
correctness
faithfulness
Ответ (фрагмент)
faithfulness = 1,00 у всех 20 вопросов — это инвариант extractive-ответчика (ответ берётся из найденного документа), а не измеренное качество. Разброс несёт только correctness — пересечение токенов ответа с эталоном, поэтому дальше таблица худших случаев.