Приложение В (справочное). Интегральные показатели качества обнаружения

Приложение В
(справочное)

Интегральные показатели качества обнаружения

В случае если не предъявляется конкретных требований к вероятностям правильного и ложного обнаружения, но при этом задаются требования поточности локализации, для сравнения алгоритмов рекомендуется использовать т. н. среднюю точность [4]. Данный показатель позволяет оценить качество работы алгоритма в среднем. Для этого тестируемый алгоритм должен каждому факту обнаружения (гипотезе) приписывать т. н. коэффициент уверенности (score)  [0, 1]. При этом предполагается, что для включения гипотезы в ответы алгоритма (найденные объекты) используется простейшее пороговое правило. Таким образом, регулируя порог, мы можем гибко менять характеристики алгоритма.

Введем понятия точности и полноты:

;

,

где - число верных гипотез с probability > t;

- число гипотез с probability > t;

N - число объектов в тестовой выборке.

Для каждого значения t от 0 до 1 существует пара значений "точность-полнота". График, задаваемый данными величинами, называется графиком "точность-полнота" или PR Curve. Данный график характеризует качество обнаружения алгоритма. Для сравнительной оценки алгоритмов используется площадь под кривой, т. н. показатель AUC:

.

Часто вместо AUC используется так называемая средняя точность

,

где - значение точности советующей значению полноты i.

Следует отметить, что на практике пары "точность-полнота" заданы не для всех значений порогов t. Это связано прежде всего с конечностью тестовых выборок. Поэтому на практике для вычисления AUC и АР используется интерполяция между существующими парами значений.

В случае если требования по точности локализации также не задаются, рекомендуется использовать показатель "усредненная средняя точность" (mАР [3]):

,

где - показатель АР, рассчитанный для минимальной точности локализации i.

Следует отметить, что использованный выше диапазон минимальной точности локализации рекомендуется использовать только при использовании метрики "пересечение над объединением" (приложение Б), для других метрик необходимо использовать другие диапазоны.