loss function에 대해서 질문이 있습니다

Question

안녕하세요

loss function을 multi로 사용할 때, 예를 들어 focal과 dice loss (1-fscore)를 사용한다고 할 때 (loss=focal+diceloss)

focal은 0.0xx정도 처음에 나오고, dice는 0.7~0.8 사이에 나온다고 가정했을 때 모델이 훈련할 때 출력되는 값의 범위는 상관이 없고

loss를 더하기로 연결했기 때문에 1:1 비율로 고려하게 되는거죠? 즉 모델이 backward를 할 때의 비중이 값에 따라서 달라지는 것인지 궁금해서요!

Answer

안녕하십니까,

어려운 질문이군요.

확실히(?) 말씀 드릴수는 없지만, 여러 multi loss의 합산값을 딥러닝 모델이 자동으로 비중을 고려하여 배분하지는 못할것입니다.

다만 특정 loss에 좀더 가중치를 주는 방식으로 분배를 유도할수는 있습니다. 예를 들어 dice의 비중을 줄이려고 1보다 작은 계수값을 곱하거나 log loss를 적용해보는 것도 고려해 볼 수 있습니다.

감사합니다.