A Decision-Support Audit Protocol for Supervision Drift in Proxy-Labeled Credit-Risk Prediction
Авторы предлагают пятиуровневый протокол мониторинга: качество модели на новом периоде, разрыв с моделью, обученной на целевом периоде, калибровка, стабильность связей факторов с дефолтом и synthetic positive-control тест. На LendingClub при переносе модели с винтажа 2013 года на 2016 год ранжирование осталось стабильным, при этом observed default rate вырос с 15,60% до 23,28%, а raw ECE10 находился в диапазоне 0,071088–0,081410. Intercept-only диагностическая рекалибровка снизила ECE10 примерно на 64–93%. Positive-control показал уверенную чувствительность только к более крупным сдвигам, поэтому небольшие изменения исключить нельзя.
Why it matters
Работа даёт практическую структуру PD-control, позволяющую различать сохранение ранжирования при сдвиге probability scale и более глубокое изменение зависимости факторов от дефолта. Такой набор сигналов можно использовать как decision-support при выборе между рекалибровкой, дополнительным анализом сегментов и полным переобучением, сохраняя ограничения самой работы: диагностическая рекалибровка использует target labels и не является готовой production-процедурой.