Inflearn Community Q&A
asked
파라미터 개수에 대한 질문
Written on
·
1.7K
0
안녕하세요.
수업 중에 가중치 W와 파라미터가 같은 말이라고 설명해주셨습니다. 보통 파라미터의 개수라고 하면 정확히 무엇을 의미하나요?
아래 수업 자료를 보면 앞 노드에서 다음 노드로 연결되는 화살표가 3개씩 있습니다. 그럼 이 화살표 각각을 파라미터 1개라고 간주해서, 아래 화살표 개수를 모두 합친 것을 파라미터 개수라고 하는지요?
아니면 앞 레이어에서 다음 레이어로 넘어갈 때, 한 노드에서 다음 노드로 화살표가 3개 있더라도, 파라미터는 1개라고 간주하나요?
예를 들어 오픈AI의 GPT3의 파라미터는 1750억개라고 하는데, 여기서 파라미터 개수의 정의가 궁금합니다.
Answer 1
0
안녕하십니까,
네, 화살표 각각을 파라미터의 갯수로 생각하시면 됩니다.
예를 들어 위의 그림에서 Input Layer는 4개의 노드가 있고, Hidden Layer는 4개의 노드가 있지만 Input Layer 4개의 노드에서 Hidden Layer로의 연결은 3개만 되어 있다면,
Input Layer개별 노드에서 Hidden Layer로의 화살표 연결이 3개씩 이므로 총 12개 입니다.
마찬가지로 Hidden Layer 4개 노드에서 Output Layer 3개 노드로 화살표 연결이 3개씩이면 총 12개 입니다.
따라서 전체 파라미터 개수는 Input Layer -> Hidden Layer 연결 12개 더하기 Hidden Layer -> Output Layer 연결 12개를 합쳐서 24개입니다.
GPT3는 모델이 매우 복잡하고 Layer가 깊어서 매우 많은 파라미터를 가지고 있습니다.
감사합니다.