inflearn logo
강의

講義

知識共有

実務中心のディープラーニングNLP深化:LLMアーキテクチャとファインチューニング実践

Transformer翻訳機分析 - Part1

강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.

153

작성자 없음

0

# 훈련 데이터셋에서 포르투갈어 및 영어 예제 출력
for pt_examples, en_examples in train_examples.batch(3).take(1):
  print('> 포르투갈어 예제:')
  for pt in pt_examples.numpy():
    print(pt.decode('utf-8'))  # 포르투갈어 문장 디코딩하여 출력
  print()

  print('> 영어 예제:')
  for en in en_examples.numpy():
    print(en.decode('utf-8'))  # 영어 문장 디코딩하여 출력

=====> 위의 코드에 pt 와 en 이 어떻게 생성된 변수인지 잘 이해가 안 가서 여쭤봅니다.

딥러닝 tensorflow NLP

回答 1

0

YoungJea Oh

train_examples는 포르투갈어와 영어 문장 쌍으로 구성된 데이터셋입니다. 이 데이터셋은 TensorFlow의 tf.data.Dataset API를 사용하여 준비된 것이고 (포르투갈어 문장, 영어 문장) 형태로 구성된 튜플의 형식을 가집니다.
train_examples.batch(3)는 데이터셋을 배치 3개 단위로 나누는 작업을 수행합니다. 즉, 데이터셋을 3개의 문장씩 묶어 배치로 만듭니다. 따라서, pt_examples와 en_examples는 각각 포르투갈어와 영어 문장 3개로 이루어진 배치입니다. take(1)는 배치 1개 가져옵니다.

이렇게 하면 pt_examples.numpy() 와 en_examples.numpy() 에는 예를 들어 다음과 같은 데이터가 들어있게 됩니다.
pt_examples.numpy(): ['Bom dia', 'Como você está?', 'Obrigado']
en_examples.numpy(): ['Good morning', 'How are you?', 'Thank you']

이 list 들을 for 문으로 읽으면 포르투갈어, 영어 한 문장씩이 읽히게 됩니다.
감사합니다.

 

 

130_Transformer.ipynb 오류 대응 부탁드립니다.

0

42

1

트랜스포머 FeedForward 관련 질문

0

144

2

파라미터갯수에대한질문(030_IMDB_movie_reviews)

0

91

1

Transformer 번역기 분석 - Part1 따라치기 질문

0

109

2

Encoder-Decoder 질문 드립니다.

0

106

2

model 코드 부분을 따라하다가 전 값이 이상해서요

0

112

1

서적 추천

0

101

1

NLP와 LLM의 차이점

0

632

2

encoder-decoder model 질문입니다.

1

95

1

구글번역기에 대해서 궁금한점이 있습니다.

0

165

2

로드맵에대해서...

0

146

2

Bag of Word (BOW)와TF-IDF시 대명사인 I의행방

0

132

2

강의 교재 최신화 요청

0

188

4

self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.

0

237

3

코랩 환경 설정할 때 질문이 있습니다.

0

280

1

transformer 훈련 마친 모델 공유 가능할까요?

0

252

2

130_Transformer.ipynb transformer.summary() 에러

0

213

2

강사님 궁금한게 있어 문의 드립니다.

0

158

1

패딩과 관련한 질문 드립니다.

0

198

1

Encoder Decoder 부터 Simple Chatbot까지 이상답변

0

245

1

seq2seq 모델

0

349

1

강의 내용중 질문있습니다.

0

221

1

Transformer 번역기 부분에 대해 질문 있습니다.

0

246

1

320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.

0

361

2