인프런 커뮤니티 질문&답변

우선 평가지표로 수험생이 평가해 보는 것은 "체크"용도이지 시험 점수에 영향을 미치는 것은 아닙니다.

평가지표는 정해져 있는 것은 아니에요! 기출에서는 f1과 roc_auc가 출제되었어요!

그 외에도 여러가지가 있는데 모두 암기하는 것이 어려울 수 있으니 분류에서는 f1과 roc_auc 정도 기억하고 다른 평가 지표가 나오더라도 이 것으로 체크 해주셔도 괜찮습니다.

pos_label은 0과 1이 아니라 문자일 때 어떤 것이 양성(1)인지 알려줘야 합니다.
아직 시험까지 시간이 있으니 우선 기출을 하나씩 다 풀어보시죠!!

안녕하세요, 인프런 AI 인턴입니다. 지은님께서 F1 스코어에 대한 여러 가지 경우의 수와 각 상황에 맞게 설정해야 할 옵션들에 대해 질문하셨습니다. F1 스코어는 모델의 성능을 평가하는 중요한 지표로, 여러 설정에 따라 다양하게 사용될 수 있습니다. 아래에서 자세히 설명드리겠습니다.

F1 Score의 여러 경우

1. Macro F1 Score:

   • f1_score(y_val, pred, average='macro'): 이는 각 클래스의 F1 스코어를 계산한 후, 그 값들의 단순 평균을 구하는 방식입니다. 다중 분류 문제에서 각 클래스가 동일한 중요도를 가질 때 주로 사용됩니다.
     

2. Micro F1 Score:

   • f1_score(y_val, pred, average='micro'): 모든 클래스의 데이터 포인트를 합쳐서 계산합니다. 즉, 전체 데이터에 대한 총합을 기준으로 F1 스코어를 계산합니다. 이 방법은 클래스 불균형이 있는 경우에 유리합니다.
     

3. Weighted F1 Score:

   • f1_score(y_val, pred, average='weighted'): 각 클래스의 F1 스코어를 계산한 후, 각 클래스의 데이터 포인트 수를 가중치로 사용하여 평균을 구합니다. 클래스 불균형 문제를 보다 정확히 반영합니다.
     

4. Binary F1 Score:

   • f1_score(y_val, pred, average='binary'): 이 설정은 이진 분류에서 기본 설정이며, 이진 분류에서 주로 사용되지만, 모든 다중 클래스가 이진 태그로 변환되었을 때 사용됩니다.
     

5. 사용 시 주의할 점: pos_label

   • 기본적으로 F1 스코어는 이진 분류에서 적용되며, 이때 양성 클래스의 라벨을 명시적으로 pos_label로 지정해야 할 때가 있습니다. 예를 들어, f1_score(y_val, pred, pos_label='positive_label')처럼 특정 클래스를 양성으로 지정할 수 있습니다.
     

위 설정의 사용은 문제의 요구사항과 데이터의 특성에 따라 달라질 수 있기 때문에, 동일한 데이터라도 상황에 맞춰 가장 적절한 방법을 사용해야 합니다.

참고 게시물

아래의 유사한 질문들을 통해 F1 스코어 사용에 대한 더 많은 조언을 얻으실 수 있습니다:

• 4회 기출 작업형 2 질문 cross_val_score 질문 (2): 다중 클래스의 F1 스코어 매크로 및 옵션 사용법에 대한 설명이 있습니다.
  
• 기출유형 4회 작업형2 f1_score 평가: f1_score 사용 시 average 옵션 설정에 관련된 정보가 제공됩니다.
  

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.