Наивный CTR падает с позицией, потому что низ выдачи почти не осматривают: IPW делит клики на вероятность осмотра (1/k)^η и спрямляет спад. Слева — наивная и восстановленная кривые, справа — свип η: ползунок гоняет параметрическую поправку против уровня, который даёт EM-оценка (0,629). Дальше тот же офлайн-скор разводит NDCG и деньги.
Позиция 1: 0,685 против 0,685 — там осмотр по определению полный. Позиция 15: 0,029 против 0,598, то есть наивный CTR занижен в 20 раз именно из-за осмотра.
| Ранжировщик | NDCG@10 | ₽/поиск |
|---|---|---|
| relevance — по релевантностиNDCG 1,000 | 1,000 | 868,9 |
| revenue — по деньгам+37,7% ₽ | 0,932 | 1 196,6 |
| price_asc | 0,985 | 843,9 |
| propensity_logistic | 0,985 | 826,6 |
| click_trained | 0,982 | 693,0 |
Цена денежного порядка: NDCG@10 −6,8 п.п., выручка +37,7%. Офлайн-скор релевантности — плохой релизный гейт; узкое место — выручка за поиск.