표준화 시에는 활성함수를 ReLU를 사용하면 안되나요?

Question

안녕하세요. 아래 코드와 같이 0-1 사이값으로 만든 후 표준화를 진행했습니다. 이럴 때 음수값이 포함되어 있기 때문에 연산에서 음수값도 의미가 있으니 문득 든 생각이 Conv2D에서 활성화 함수를 ReLU를 사용하면 안되나요? train_images = np.array(train_images).astype('float32') / 255. valid_images = np.array(valid_images).astype('float32') / 255. test_images = np.array(test_images).astype('float32') / 255. mean, var = train_images.mean(), train_images.std() train_images = (train_images - mean) / var mean, var = valid_images.mean(), valid_images.std() valid_images = (valid_images - mean) / var mean, var = test_images.mean(), test_images.std() test_images = (test_images - mean) / var

권 철민 · Answer

이미지에 음수값이 있어도 ReLU 적용 무방합니다. 먼저 Activation은 입력값(즉 픽셀값)에 바로 적용하지 않습니다. Activation은 이전 layer의 출력값과 Weight를 Weighted Sum한 뒤 이를 Activation 적용하는 것입니다. weight역시 음수 값이 나올 수 있습니다. 이전 layer의 출력값과 weight를 sum하고 이를 activation하는 것이기 때문에 이미지의 픽셀값의 음수값 영향이 없습니다. 다만 지적하신 대로 이전 layer의 출력값과 weight가 음수일때 ReLU는 0이 출력되기 때문에 해당 Gradient가 죽어버리는 문제가 있을 수 있습니다. 그래서 Leaky ReLU와 ELU가 있습니다. 하지만 이 두개를 적용해도 ReLU보다 특별히 크게 성능향상이 되는 것 같지는 않습니다(Case by Case로 다른것 같습니다)

젓인 · Answer

아, 네 먼저 8비트 이미지를 전처리로 255로 나누어 정규화를 시켜주고, 이를 다시 평균과 분산을 구해서 표준화를 적용했습니다 해당 넘파이의 최소, 최대값을 구하니 -4, 10으로 나오는데 이렇게 이미지에 음수가 있는 경우 Conv2D에 activation으로 ReLU를 적용해도 무방한가요? 단순하게 ReLU는 가중치 값이 음수일 때 0으로 처리하다보니 정보가 사라지는 것 아닌가 해서 Leaky ReLU 혹은 ELU 라는 것은 음수를 커버하는데, 이럴 때 쓰라고 한 것인지 궁금해서요. 감사합니다

권 철민 · Answer

안녕하십니까 질문을 잘 이해못했습니다. 기본적으로 conv 에 activation을 사용한다고 강의에서 말씀드리고 있지만 이걸 질문하신건 아닌거 같고 좀 더 상세한 질문 업데이트 부탁드립니다