inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실무 중심의 딥러닝 NLP 심화: LLM 아키텍처와 파인튜닝 실전

강의 내용중 질문있습니다.

199

동휘김

작성한 질문수 30

0

LSTM 함수 정의전 맨 아래와 같이 정의를하는데

B같은 경우 인풋을 의미로

sentences = ["hi man", "hi woman"]

리스트의 값과 같이 2개를 받는다고 생각하면되나요?

T 같은경우에는 time이 정확히 어떤것을 의미하는 것일까요??

D 또한 feature인데 어떤것을 의미하는 지모르겠습니다..

U는 아웃풋인건 이해했고요..

혹시 아래 이미지와 같은 이미지를 기준으로 T값 2는

hi를 h, i 로 2개 받는다는 의미일까요?

D와 T는 모르겠습니다..

U는 이미지 기준 4겠네요?

 

이부분만해결되면 코드를 더 이해할수있을것같습니다ㅜㅜ

B = 2 #batch size / 2개의 인풋 값이 들어가도록 설정
T = 5 #time steps
D = 1 #features
U = 3 #LSTM units / LSTM output 유닛 개수

X = np.random.randn(B,T,D)
print(X.shape)
print("\n")
print(X)

딥러닝 tensorflow NLP

답변 1

1

YoungJea Oh

LSTM 함수 정의전 맨 아래와 같이 정의를하는데

B같은 경우 인풋을 의미로

sentences = ["hi man", "hi woman"]

리스트의 값과 같이 2개를 받는다고 생각하면되나요?

==> 맞습니다. 정확하게는 전처리 과정을 거쳐서 [["hi", "man"], ["hi", "woman"]] 이렇게 B=2, T=2 가 됩니다.

T 같은경우에는 time이 정확히 어떤것을 의미하는 것일까요??
["hi", "man"] 에서 t1 은 "hi", t2 는 "man" 입니다. 만약 T 를 5로 정한 경우에는 전처리 과정에서 다음과 같이 바꿔줘야 합니다.

[["hi", "man", "pad", "pad", "pad"], ["hi", "woman", "pad", "pad", "pad"]]

D 또한 feature인데 어떤것을 의미하는 지모르겠습니다.
==> 단어의 경우 word embedding의 dimension 수를 의미합니다. 예제에서는 간단히 하려고 1로 정했지만 만약 512 차원의 word embedding으로 만들어 주면 512, 100 차원의 word embedding을 만들면 D=100 이 됩니다.

혹시 아래 이미지와 같은 이미지를 기준으로 T값 2는

hi를 h, i 로 2개 받는다는 의미일까요?

==> 맞습니다. 당연히 helo 의 경우는 h, e, l, o 로 T 가 4 겠지요?

U는 이미지 기준 4겠네요? ==> 아니요. 3 입니다. hidden layer 에 값(가중치)이 3개 있으니까요.

output layer 가 h, e, l, o 중 하나를 맞추는 softmax 출력층이므로 neuron 이 4 입니다.


0

동휘김

감사합니다~!

트랜스포머 FeedForward 관련 질문

0

73

2

파라미터갯수에대한질문(030_IMDB_movie_reviews)

0

62

1

Transformer 번역기 분석 - Part1 따라치기 질문

0

72

2

Encoder-Decoder 질문 드립니다.

0

74

2

model 코드 부분을 따라하다가 전 값이 이상해서요

0

83

1

서적 추천

0

77

1

NLP와 LLM의 차이점

0

559

2

encoder-decoder model 질문입니다.

1

74

1

구글번역기에 대해서 궁금한점이 있습니다.

0

124

2

로드맵에대해서...

0

121

2

Bag of Word (BOW)와TF-IDF시 대명사인 I의행방

0

97

2

강의 교재 최신화 요청

0

145

4

self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.

0

190

3

코랩 환경 설정할 때 질문이 있습니다.

0

248

1

transformer 훈련 마친 모델 공유 가능할까요?

0

217

2

130_Transformer.ipynb transformer.summary() 에러

0

185

2

강사님 궁금한게 있어 문의 드립니다.

0

129

1

강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.

0

126

1

패딩과 관련한 질문 드립니다.

0

172

1

Encoder Decoder 부터 Simple Chatbot까지 이상답변

0

219

1

seq2seq 모델

0

328

1

Transformer 번역기 부분에 대해 질문 있습니다.

0

214

1

320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.

0

317

2

201_classify_text_with_bert_tfhub_Kor.ipynb 오류

0

345

2