• 카테고리

    질문 & 답변
  • 세부 분야

    딥러닝 · 머신러닝

  • 해결 여부

    미해결

가중치 선택

22.06.27 06:31 작성 조회수 139

1

안녕하세요 강사님! 궁금한 점이 있는데요~
같은 모델에 대한 학습 및 가중치 저장을 총 30회 정도 반복할 경우 각각의 학습에 대한 가중치 및 결과가 다르게 나올텐데요. 

1.서비스를 한다고 하면 max 결과를 돌려준 가중치를 사용하면 되는 건가요?

2.이 모델에 대한 설명은 어떻게 하는게 더 적절할까요?
   1) 최대 max 평가수치를 줄 수 있는 모델이다?
   2) 평균(또는 중위값)을 줄 수 있는 모델이다?

답변 1

답변을 작성해보세요.

0

안녕하세요.

 

정말 좋은 질문입니다!

max라고 하면 평가 정확도나 평가 RMSE를 말씀하시는거죠?

동일한 학습 조건에서 동일 모델의 경우에는 여러 번 학습을 해도 유사한 성능이 나와야 합니다.

모델은 가장 정확도가 높게 나온 것을 사용하되 결과를 말할 때에는 30번에 대한 평균+-신뢰구간95%(혹은 표준편차)를 보여줍니다. (하지만 문제에 따라 베스트 모델을 정할 때에 recall, precision 등 다른 척도도 같이 고려해야 할 때도 있습니다..)

또한 논문에 따라 학습 횟수가 1번~100번으로 매우 다릅니다만 신뢰구간을 결과로 사용할 경우 5회 이상 하시면 됩니다. 개인적으로는 신뢰구간 결과를 사용할 경우 문제에 따라 10~100회 정도 합니다. 30번 학습이면 충분한 통계결과는 되겠네요!

 

만약 각 30번에 대한 결과치 차이가 크면 재구현 문제가 될 수도 있습니다. 즉, 사람마다 제안 모델을 구현했더니 성능 차이가 심하면 안 된다는 의미입니다. 강의에서는 학습 시간이 오래 걸리기 때문에 epoch을 길게 가져가진 않았는데 실제 작업에서는 epoch을 충분히 설정하여 어느 정도 학습 수렴성을 확보하셔야 합니다 :)

 

열공하세요!

쿨백스님의 프로필

쿨백스

질문자

2022.06.27

자세한 답변 감사드립니다.

단순히 max를 쓰면 되겠다는 생각 뒤에 따라온 생각은

혹시 오버피팅 모델을 사용하는게 아닌가 하여 

(물론 각 수행별로 valid data 활용한 earlystop을 수행한 결과이긴 하지만요)

걱정이 되어서 질문을 드리게 된거였어요^^

오버피팅 방지 중요합니다. 학습, 검증, 평가 데이터를  반드시 사용하시고 검증으로만 베스트 모델 산정하셔야 합니다. 평가는 학습 중에 사용은 물론이고 고려도 하시면 안 됩니다! 대외적으로 성능 결과 말씀하실 때는 평가 성능으로 말씀하시면 되요. 그리고 조기학습 사용시에도 에폭은 충분해야합니다! 

쿨백스님의 프로필

쿨백스

질문자

2022.06.27

넵 잘 새기고 또 시도해보겠습니다!

너무 감사드립니다^^