IoU (Intersection over union)

  • 2개 영역 사이의 중첩되는 정도를 측정.
  • 이는 Object detector가 실제 Ground truth와 예측결과(Prediction)가 얼마나 정확히 겹치는지를 계산하여 예측이 얼마나 잘 되는지를 측정.
  • Ground-truth를 데이터의 label값으로 생각하면 이해가 쉬움.

Average Precision (AP)

  • CNN의 모델 성능 평가 지표
  • Precision = TP/(TP+FP) 정확도. 검출 결과 중 옳게 검출한 비율
  • Recall = TP/(TP+FN) 재현율. 실제 옳게 검출된 결과물 중에서 옳다고 예측한 것의 비율

TP : 예측한 것중 정답인 것

TP + FP : 예측한 것

TP + FN : 실제 정답인 것

  • 일반적으로 Precision과 Recall은 서로 반비례 관계를 가진다.

    이 둘의 성능변화를 관측하기 위해 precision-recall 그래프를 이용한다.

  • precision-recall 그래프는 어떤 알고리즘의 성능을 전반적으로 파악하기에는 좋으나 서로 다른 두 알고리즘의 성능을 정량적으로 비교하기에는 불편.
  • AP는 인식 알고리즘의 성능을 하나의 값으로 표현한 것으로 precision-recall 그래프에서 그래프 선 아래 쪽의 면적으로 계산
  • AP가 높으면 높을수록 그 알고리즘의 성능이 전체적으로 우수하다는 의미.

mAP : 물체 클래스가 여러 개인 경우 각 클래스당 AP를 구한 다음에 그것을 모두 합한 다음 물체 클래스의 개수로 나눠줌으로 알고리즘의 성능을 평가.

PASCAL VOC Challenge에서의 AP(Average Precision)

  • PASCAL VOC는 object detection에서 널리 사용되는 데이터 셋

  • PACAL VOC Challenge의 경우, 모델의 예측과 ground truth의 IoU가 0.5보다 크면(IoU > 0.5) 모델의 예측이 올바르게 되었다고 판단

MS COCO mAP

  • SOTA(State of art) object detector 모델들은 주로 MS COCO에 대한 mAP 결과만을 제공하는 경향이 있음

  • MS COCO는 PASCAL VOC의 단일 IoU값 계산과는 다르게(IoU > 0.5) 다중 IoU에 대한 평균값을 계산

  • AP@[.5:.95]는 0.05의 단계 크기로 0.5부터 0.95까지의 IoU에 대한 평균 AP에 해당함