[AI & ML] 정확도, 정밀도, 재현율, F1 점수

정확도

• TP / 전체 데이터
• TP(Ture Positive) : 올바르게 예측한 값

정밀도

• TP / (TP + FP)
• FP(False Positive) : 맞다고 예측한 값이 틀렸을 경우
• 정밀도는 결국.. 예를 들어서 비가오는날을 예측하는 경우
  비가온다고 예측한 날에 비가 온 경우 / (비가온다고 예측한 날에 비가 온 경우 + 비가 온다고 예측했지만 비가 안온 경우) 이다.
• 정확도 보다 정밀도를 따라 우산을 챙긴다면 우산을 챙겼을때 비가 오지 않는날이 있다고해도 실제 비가 왔을때 대비 할 수 있을 경우가 높아진다

재현율

• TP / (TP + FN)
• 암환자를 예로 들때 암환자자라고 진단한 전체 환자 중 실제 암 환자 비율
• 재현율이 높을수록 모델을 사용할 수록 암환자를 조기에 정확히 발견할 수 있다

F1 점수

• 정밀도와 재현율 값을 조화평균 하여 사용하는 값
• 조화평균 = 2 * a * b / ( a + b )
• 조화평균의 사용예로는 서울에서 부산을 왕복했을때 내려갔던 속도, 올라왔던 속도가 다를 경우 전체 왕복속도의 평균값을 찾기 등이다.

 

 

 

모델을 평가하는데 기준이 되는 값 선정

• 데이터가 균등하게 분포되어 있다면 정확도를 사용한다
• 데이터가 균등하지 않다면 F1 점수를 사용하는것이 좋다. 예를 들어 A/B/C/D 를 예측하는 모델1과 모델2가 있을경우

• 모델1: A의 예측능력은 높으나 B/C/D는 잘 예측하지 못함
• 모델2: A/B/C/D 전체적으로 예측을 잘 하나 모델1보다 A예측 능력은 떨어짐
  이런 경우에 정답이 A인 데이터만 아주 많다면 모델1의 정확도 수치가 높을수 밖에 없고 이 경우 정확도로 모델을 선정하는것이 무조건 좋은 선택이라고 볼 수 없다. 이경우 F1 점수는 모델2가 높고, 모델2의 선정도 고려할 수 있다