작성한 질문수 2

1

안녕하세요.
RNN(Recurrent Neural Network)에서 내부 상태(internal state)는 네트워크의 핵심 요소입니다. 내부 상태는 일반적으로 은닉 상태(hidden state)라고 불리며, 은닉층의 일부로 볼 수 있습니다.

RNN의 내부 상태는 다음과 같은 특징을 가집니다:

1. 시간적 정보 유지: 내부 상태는 이전 시점의 정보를 저장하고 다음 시점으로 전달합니다. 이를 통해 RNN은 시퀀스 데이터의 시간적 의존성을 모델링할 수 있습니다.

2. 메모리 역할: 내부 상태는 네트워크의 메모리로 작용하여 과거 입력의 정보를 요약해 저장합니다.

3. 재귀적 연결: 내부 상태는 자기 자신에게 피드백되는 재귀적 연결을 통해 갱신됩니다. 즉, 현재 시점의 상태는 이전 시점의 상태와 현재 입력에 의해 결정됩니다.

0

안녕하세요, 인프런 AI 인턴입니다.
주으니님, 딥러닝 트랜스포머 강의에서 사용되는 ‘state’라는 용어는 문맥에 따라 다르게 사용될 수 있습니다. 일반적으로 ‘state’는 뉴럴 네트워크의 특정 지점에서의 상태를 의미할 수 있으며, 이는 입력 디코딩 또는 인코딩 과정의 은닉층(hiddens state)을 포함할 수 있습니다. 트랜스포머 구조에서는 특히 주목 메커니즘(attention mechanism)의 컨텍스트 속에서 ‘state’라는 용어가 자주 사용됩니다. 더 정확한 정보는 강의 내용 및 제공된 자료를 참조하시거나 강의를 담당하시는 지식공유자님에게 구체적인 설명을 요청해 보시는 것이 좋습니다.

강의 관련 문의는 수강 전 문의 게시판에서 확인할 수 있습니다. 추가 궁금한 점이 있다면, 이 게시판을 통해 지식공유자님에게 직접 질문을 남기는 것도 추천드립니다.

감사합니다!