인프런 커뮤니티 질문&답변
작성한 질문수
표준화 시에는 활성함수를 ReLU를 사용하면 안되나요?
작성
·
409
0
안녕하세요. 아래 코드와 같이 0-1 사이값으로 만든 후 표준화를 진행했습니다. 이럴 때 음수값이 포함되어 있기 때문에 연산에서 음수값도 의미가 있으니 문득 든 생각이 Conv2D에서 활성화 함수를 ReLU를 사용하면 안되나요?
train_images = np.array(train_images).astype('float32') / 255.
valid_images = np.array(valid_images).astype('float32') / 255.
test_images = np.array(test_images).astype('float32') / 255.
mean, var = train_images.mean(), train_images.std()
train_images = (train_images - mean) / var
mean, var = valid_images.mean(), valid_images.std()
valid_images = (valid_images - mean) / var
mean, var = test_images.mean(), test_images.std()
test_images = (test_images - mean) / var답변 3
1
이미지에 음수값이 있어도 ReLU 적용 무방합니다.
먼저 Activation은 입력값(즉 픽셀값)에 바로 적용하지 않습니다. Activation은 이전 layer의 출력값과 Weight를 Weighted Sum한 뒤 이를 Activation 적용하는 것입니다.
weight역시 음수 값이 나올 수 있습니다.
이전 layer의 출력값과 weight를 sum하고 이를 activation하는 것이기 때문에 이미지의 픽셀값의 음수값 영향이 없습니다.
다만 지적하신 대로 이전 layer의 출력값과 weight가 음수일때 ReLU는 0이 출력되기 때문에 해당 Gradient가 죽어버리는 문제가 있을 수 있습니다. 그래서 Leaky ReLU와 ELU가 있습니다. 하지만 이 두개를 적용해도 ReLU보다 특별히 크게 성능향상이 되는 것 같지는 않습니다(Case by Case로 다른것 같습니다)
0
아, 네 먼저 8비트 이미지를 전처리로 255로 나누어 정규화를 시켜주고, 이를 다시 평균과 분산을 구해서 표준화를 적용했습니다
해당 넘파이의 최소, 최대값을 구하니 -4, 10으로 나오는데 이렇게 이미지에 음수가 있는 경우 Conv2D에 activation으로 ReLU를 적용해도 무방한가요? 단순하게 ReLU는 가중치 값이 음수일 때 0으로 처리하다보니 정보가 사라지는 것 아닌가 해서 Leaky ReLU 혹은 ELU 라는 것은 음수를 커버하는데, 이럴 때 쓰라고 한 것인지 궁금해서요. 감사합니다
0
안녕하십니까
질문을 잘 이해못했습니다. 기본적으로 conv 에 activation을 사용한다고 강의에서 말씀드리고 있지만 이걸 질문하신건 아닌거 같고
좀 더 상세한 질문 업데이트 부탁드립니다
네 감사합니다!