파라미터 개수에 대한 질문
1883
작성한 질문수 20
안녕하세요.
수업 중에 가중치 W와 파라미터가 같은 말이라고 설명해주셨습니다. 보통 파라미터의 개수라고 하면 정확히 무엇을 의미하나요?
아래 수업 자료를 보면 앞 노드에서 다음 노드로 연결되는 화살표가 3개씩 있습니다. 그럼 이 화살표 각각을 파라미터 1개라고 간주해서, 아래 화살표 개수를 모두 합친 것을 파라미터 개수라고 하는지요?
아니면 앞 레이어에서 다음 레이어로 넘어갈 때, 한 노드에서 다음 노드로 화살표가 3개 있더라도, 파라미터는 1개라고 간주하나요?
예를 들어 오픈AI의 GPT3의 파라미터는 1750억개라고 하는데, 여기서 파라미터 개수의 정의가 궁금합니다.
답변 1
0
안녕하십니까,
네, 화살표 각각을 파라미터의 갯수로 생각하시면 됩니다.
예를 들어 위의 그림에서 Input Layer는 4개의 노드가 있고, Hidden Layer는 4개의 노드가 있지만 Input Layer 4개의 노드에서 Hidden Layer로의 연결은 3개만 되어 있다면,
Input Layer개별 노드에서 Hidden Layer로의 화살표 연결이 3개씩 이므로 총 12개 입니다.
마찬가지로 Hidden Layer 4개 노드에서 Output Layer 3개 노드로 화살표 연결이 3개씩이면 총 12개 입니다.
따라서 전체 파라미터 개수는 Input Layer -> Hidden Layer 연결 12개 더하기 Hidden Layer -> Output Layer 연결 12개를 합쳐서 24개입니다.
GPT3는 모델이 매우 복잡하고 Layer가 깊어서 매우 많은 파라미터를 가지고 있습니다.
감사합니다.
resize 질문
0
51
1
20251212 Kaggle 런타임에 scikit-learn 설치 실패 트러블 슈팅
0
76
1
Loss와 매트릭 관계
0
62
2
Boston 코랩 실습
0
164
2
배치 정규화의 이해와 적용 2 강의 질문
0
136
2
Augmentation원본에 적용해서 데이터 갯수 자체를 늘리는 행위는 의미가있나요?
0
145
2
Conv함수 안에 activation 을 넣지 않는 이유가 뭔지 궁금합니다.
0
206
2
소프트맥스 관련 질문입니다
0
208
1
강의 관련 질문입니다
0
151
2
residual block과 identity block의 차이
0
190
2
옵티마이저와 경사하강법의 차이가 궁금합니다.
1
240
1
실습 환경
0
165
2
입력 이미지 크기
0
244
2
데이터 증강
0
196
2
albumentations ShiftScaleRotate
0
207
1
Model Input Size 관련
0
281
1
마지막에 bird -> frog 말고도 deer -> frog 도 잘못된것 아닌가요??
0
204
1
일반적인 질문 (kaggle notebook사용)
0
272
2
실무에서 Augmentation 적용 시
0
338
2
안녕하세요 교수님
0
231
1
가중치 초기화(Weight Initialization) 질문입니다.
0
327
1
테스트 데이터셋 predict의 'NoneType' object has no attribute 'shape' 오류
0
409
1
학습이 이상하게 됩니다.
2
1036
2
boston import가 안됩니다
0
229
1