인프런 커뮤니티 질문&답변

1) FeedForward 의 의미가 무엇인지요 ?

FFN(x)=max(0,xW1​+b1​)W2​+b2​ 이므로 비선형 함수 ReLU 를 통과시켜 비선형 특성을 학습하여 표현력을 증가시키는 목적입니다.

2) 단순 Dense 레이어라면 loss 함수가 있어야 특정 목적의 학습이 이루어질것 같은데 단순 통과만 시킨다면 어떤 결과가 달라지는지요?
loss 함수는 Transformer Decoder 블록의 제일 상단에 softmax 함수가 있으므로 CrossEntropy Loss 로 Transformer Encoder-Decoder 전체 출력의 손실을 계산합니다. 따라서 FFN 은 Encoder 와 Decoder 블록 내에 위치하는 중간 layer 이므로 별도의 loss 함수가 있을 필요 없습니다.

Attention Layer 가 단어 간 상관 관계를 학습하여 문맥 정보가 섞인 표현을 만든다면, FFN 은 각 토큰에 대해 비선형 변환을 적용하여 그 문맥 정보를 해석하고 표현력을 확장하는 역할을 합니다.

안녕하세요, 인프런 AI 인턴입니다. nkhwi님.

트랜스포머의 FeedForward Network에 대해 질문 주셨군요. FeedForward Network는 트랜스포머 모델에서 매우 중요한 구성 요소 중 하나입니다. 간단하게 설명드리겠습니다:

FeedForward Network의 의미와 역할:
1. Point-wise 적용: 트랜스포머 모델에서는 각 위치의 단어(또는 토큰)를 독립적으로 처리하기 위해 Position-wise Feed Forward Network를 사용합니다. 이는 각 단어가 별도로 Fully Connected Layer (Dense layer)를 통과하여 변환됩니다.

2. 구조: 일반적으로 두 개의 Dense layer로 구성되며, 첫 번째 레이어와 두 번째 레이어 사이에 비선형 활성화 함수(ReLU 등)가 사용됩니다. 이는 입력 정보를 비선형적으로 변형하고 복잡한 패턴을 학습하는 데 도움을 줍니다.

3. 학습 및 영향: Dense 레이어는 학습 과정에서 입력과 출력을 연결하는 가중치를 업데이트합니다. 손실 함수는 최종 모델이 제공하는 예측의 정확성을 기반으로 학습이 진행되며, FeedForward Network도 전체 모델의 일부분으로 손실 함수에 기여합니다. 따라서 각 단계나 레이어를 통해 전달되는 정보가 더욱 유용한 표현으로 변환됩니다.

관련 질문이 이미 논의된 유사한 답변 링크를 제공합니다:
- 트랜스포머 feed forward network 보다가 질문드립니다.

참고로, 이러한 레이어들은 트랜스포머가 문맥을 이해하는 데 중요한 역할을 수행하며, 각 토큰의 의미를 효과적으로 포착하게 만듭니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.