У меня есть проблема двоичной классификации, я проверил ее через DAI, и мне дали тест AUC. Где найти порог вероятности, который используется во время развертывания для оценки новых строк данных?

Примером может быть порог 0,50; Т.е. целевая переменная> .50 получает 1, а цель <.50 получает 0 (или наоборот) во время принятия решения. Мне нужен точный порог сверх четырехзначного конкатенированного числа, которое отображается в графическом интерфейсе пользователя при перемещении по кривой AUC. На рисунках ниже я сопоставил пороговые значения и не могу получить такую ​​же путаницу. матрицы с одинаковым порогом. Обратите внимание, что ложные срабатывания минимально отличаются.

Порог DAI @ .0301 Порог

Sklearn Confusion Matrix @ .0301 Порог

ОБНОВЛЕННЫЙ ОТВЕТ . Загрузите вкладку «Сводка экспериментов» после завершения эксперимента на DAI. В zip-файле вы найдете ensemble_roc_test.json , который дает пороговые значения до 10 цифр.

0
kevin_theinfinityfund 15 Май 2019 в 20:17

2 ответа

Лучший ответ

Прогнозы ИИ без водителя возвращают «баллы», поэтому пороговое значение не применяется к прогнозу, и пользователь сам может использовать счет. Рекомендуемый порог для оптимизации различных метрик можно увидеть на кривой эксперимента на странице эксперимента. Например, на скриншоте ниже мышь находится над кругом «Лучший F1», чтобы получить сводку, включающую порог:

enter image description here

1
Joe 15 Май 2019 в 19:04

ОБНОВЛЕННЫЙ ОТВЕТ . Загрузите вкладку «Сводка экспериментов» после завершения эксперимента на DAI. В zip-файле вы найдете ensemble_roc_test.json , который дает пороговые значения до 10 цифр.

Experiment_Summary Thresholds

0
the775 21 Май 2019 в 15:46