inflearn logo
강의

Course

Instructor

Advanced Practical Deep Learning NLP: LLM Architecture and Fine-tuning in Practice

Lab - Analyzing the Transformer Translator - Part 1

강사님 Tensorflow 실습코드 중 궁금한 점이 있습니다.

124

작성자 없음

0 asked

0

# 훈련 데이터셋에서 포르투갈어 및 영어 예제 출력
for pt_examples, en_examples in train_examples.batch(3).take(1):
  print('> 포르투갈어 예제:')
  for pt in pt_examples.numpy():
    print(pt.decode('utf-8'))  # 포르투갈어 문장 디코딩하여 출력
  print()

  print('> 영어 예제:')
  for en in en_examples.numpy():
    print(en.decode('utf-8'))  # 영어 문장 디코딩하여 출력

=====> 위의 코드에 pt 와 en 이 어떻게 생성된 변수인지 잘 이해가 안 가서 여쭤봅니다.

딥러닝 tensorflow NLP

Answer 1

0

YoungJea Oh

train_examples는 포르투갈어와 영어 문장 쌍으로 구성된 데이터셋입니다. 이 데이터셋은 TensorFlow의 tf.data.Dataset API를 사용하여 준비된 것이고 (포르투갈어 문장, 영어 문장) 형태로 구성된 튜플의 형식을 가집니다.
train_examples.batch(3)는 데이터셋을 배치 3개 단위로 나누는 작업을 수행합니다. 즉, 데이터셋을 3개의 문장씩 묶어 배치로 만듭니다. 따라서, pt_examples와 en_examples는 각각 포르투갈어와 영어 문장 3개로 이루어진 배치입니다. take(1)는 배치 1개 가져옵니다.

이렇게 하면 pt_examples.numpy() 와 en_examples.numpy() 에는 예를 들어 다음과 같은 데이터가 들어있게 됩니다.
pt_examples.numpy(): ['Bom dia', 'Como você está?', 'Obrigado']
en_examples.numpy(): ['Good morning', 'How are you?', 'Thank you']

이 list 들을 for 문으로 읽으면 포르투갈어, 영어 한 문장씩이 읽히게 됩니다.
감사합니다.

 

 

트랜스포머 FeedForward 관련 질문

0

69

2

파라미터갯수에대한질문(030_IMDB_movie_reviews)

0

60

1

Transformer 번역기 분석 - Part1 따라치기 질문

0

69

2

Encoder-Decoder 질문 드립니다.

0

71

2

model 코드 부분을 따라하다가 전 값이 이상해서요

0

83

1

서적 추천

0

75

1

NLP와 LLM의 차이점

0

550

2

encoder-decoder model 질문입니다.

1

73

1

구글번역기에 대해서 궁금한점이 있습니다.

0

122

2

로드맵에대해서...

0

120

2

Bag of Word (BOW)와TF-IDF시 대명사인 I의행방

0

94

2

강의 교재 최신화 요청

0

142

4

self-attention에서 Wq, Wk, Wv weight matrix 학습과정 질문드립니다.

0

189

3

코랩 환경 설정할 때 질문이 있습니다.

0

248

1

transformer 훈련 마친 모델 공유 가능할까요?

0

216

2

130_Transformer.ipynb transformer.summary() 에러

0

182

2

강사님 궁금한게 있어 문의 드립니다.

0

128

1

패딩과 관련한 질문 드립니다.

0

171

1

Encoder Decoder 부터 Simple Chatbot까지 이상답변

0

218

1

seq2seq 모델

0

323

1

강의 내용중 질문있습니다.

0

197

1

Transformer 번역기 부분에 대해 질문 있습니다.

0

212

1

320_Custom_Sentiment_Analysis_navermovie.ipynb 실행 시 오류 납니다.

0

314

2

201_classify_text_with_bert_tfhub_Kor.ipynb 오류

0

342

2