WeightedRandomSampler 질문이 있습니다

안녕하세요!

질문이 크게 3개 정도 되는 것으로 보여 나눠서 답변드리겠습니다.

1. Weighted random sampling 동작방법

Weighted random sampling은 클래스 불균형 문제를 해결하기 위한 방법 중 하나입니다. 개별 이미지 한 장이 뽑힐 확률은 1/전체개수 입니다. 따라서 이미지를 많이 가지고 있는 클래스가 뽑힐 확률이 더 높습니다. 이를 보완하고자 더 적은 이미지를 갖는 클래스의 이미지가 뽑힐 확률을 높히도록 큰 가중치를 곱하고 반대로 많은 이미지를 갖는 클래스의 이미지가 뽑힐 확률이 낮아지도록 작은 가중치를 곱하게 되어 클래스 당 확률을 동일하게 맞춰줍니다. 이렇게 맞춰진 가중 확률을 기반으로 Sampler가 이미지를 확률적으로 골라서 배치를 만들게 됩니다.

2. 배치 데이터는 균일한가요? 

앞서 말씀드렸듯이 Sampler가 균일하게 하려고 동작을 합니다. 따라서 말씀해주신 7:3 비율을 갖는 바이너리 데이터가 있다면 배치에서는 5:5로 뽑아주게 하는 것입니다. 하지만 확률적으로 뽑기 때문에 항상 5:5는 아닐 수 있지만 대부분 균일하다고 보시면 됩니다. (확률적이기 때문에 "항상 균일하다"라는 표현을 사용하지 않았습니다.)

3. 중복으로 데이터가 뽑히나요?

네, 맞습니다!! 무작위 중복으로 뽑힐 수 있습니다!

따라서 위 과정을 순서대로 정리하면 다음과 같습니다. 

1. 가중 확률 정의

2. 가중 확률을 기반으로 Sampler가 데이터 선택

3. 매 배치마다 balanced batch set 생성

기존에 7:3 비율을 가지는 갯수의 데이터셋이 존재한다면 배치에서도 7:3으로 동일하게 나올 수 있게 하는 장치인가요? 

뽑을 확률을 동일하게 가져갔을 때 문제가 데이터 갯수 불균형이 일어나면, 중복되게 뽑아야하는 경우가 나오지 않나요?