sample_decoder = Decoder(num_layers=2, d_model=512, num_heads=8, dff=2048, target_vocab_size=8000, maximum_position_encoding=5000) x = tf.random.uniform((64, 26), dtype=tf.int64, minval=0, maxval=200) output, attn = sample_decoder(x, enc_output=sample_encoder_output, training=False, look_ahead_mask=None, padding_mask=None) output.shape, attn['decoder_layer2_block2'].shape위 코드 결과 output은 (TensorShape([64, 26, 512]), TensorShape([64, 8, 26, 62]))인데요.atten output size 64 x 8 x 26 x 62는batch x head num x seq_len x depth(=len_k) 의 사이즈일것 같은데요.depth의 경우, d_model(512) / num_head(8) = 64 가 되야하는게 아닌지요? 62인 이유가 궁금합니다.

 제가 아직 word embedding 이 NN으로 들어갈 때 어떻게 학습하는지 개념이 헷갈리는것 같습니다. 먼저 기초적인 질문이라 죄송합니다 ^^;;교재에서 Position-wise Feed Forward NN는 단어별로 별도로 적용된다고 설명해주셨는데요!예를 들어, 강의 교재의 10(=seq_len=단어의 갯수) x 512(=d model) 이 dff가 2048인 Position-wise Feed Forward NN에 input으로 들어오면,첫번째 단어(1x512 vector)가 feed forward nn에 들어와서 학습 후 동일한 nn에 두번째 단어(1x512 vector)가 들어와서 학습...열번째 단어도 동일한 과정으로 feed forward nn이 학습되는 개념이라고 이해하면 될까요?항상 상세한 답변에 감사드립니다. 

 # decoder 는 [h, c] 를 initial state 로 사용 decoder_inputs_ = Input(shape=(max_len_kor,), name="Decoder_Input") # decoder word embedding 은 pre-trained vector 를 사용 않음 decoder_embedding = Embedding(num_words_kor, EMBEDDING_DIM) decoder_inputs_x = decoder_embedding(decoder_inputs_)Q 1-1. training state에서는 위와 같이 decoder input이 한 문장의 seq를 모두 input으로 넣어주는데, 이는 teacher forcing을 위해 매 step 마다 seq 데이터(한 문장 데이터)를 input으로 모두 사용하기 때문인 것인가요? decoder_inputs_single = Input(shape=(1,), name='Decoder_input') x = decoder_embedding(decoder_inputs_single)Q 1-2. inference state에서는 위와 같이 input size가 1인 이유는, 매번 step마다 하나의 단어(번역할 단어=최초 <sos>, 그 후부터 이전 step의 output)만 input으로 사용하기 때문인가요? Q2. LSTM encoder의 경우 encoder output, h, c를 최종 산출물로 리턴해주는데요. h와 c가 context vector로 decoder의 input으로 입력된다고 이해하였습니다. 그렇다면, 번역 모델에서 encoder output은 어떤 값을 갖고 있으며 어떤 용도로 사용될 수 있을까요? 감사합니다! 

RNN Decoder의 경우, time step 별로 해당 input 단어에 대한 vocab 사전의 확률분포가 나오면, argmax 하거나, beam searching 하여 output을 최종 산출한다는 것으로 이해했었습니다.강의에서 트랜스포머 Decoder의 경우도 개념은 똑같다고 하셨는데, 트랜스포머도 time step 이 있는건가요? 예를들어,'I love you' 를 '난 널 사랑해' 로 번역할 때,decoder에 attention계산과정 및 Feed Forward 계산과정을 거쳐 나온 최종 attetion vector (seq_len x d model 차원) 가 첫번째 단어 '난' 부터 시작해서 greedy 하게, 혹은 beam search 전략 통하여 확률분포를 구한다고 보면 될까요?

Encoder의 Output은 attention vector (seq_len x d model) 하나가 나오는데, Decoder의 인풋으로 들어갈 땐 이를 encoder에서 배웠던 Q, K, V 로 나눈뒤, 이중에서 K, V 가 Decoder의 Encoder-Decoder attention layer에서의 K, V로 사용된다고 보면 될까요?

 sentiment analysis 이론 강의까지 들었는데, embedding 의 기능만 설명하시고 embedding이 뭔지에 대한 설명이 없어서 이해하기 힘들어요. embedding이 뭔지 개념 설명좀 부탁드립니다

 LSTM 모델에서 return_state를 False로 놨을때 출력되는 o,h,c에 대한 질문이 있습니다..o는 output, h는 hidden layer 맞나요?  그리고 c는 뭔가요?

다시 한 번 좋은 강의 너무 감사합니다 :)회사에서 NLP로 업무가 바뀌며 열공하느라 질문이 많네요..^^;  030_IMDB_movie_reviews.ipynb 의 아래 코드에서model = Sequential([ Embedding(vocab_size+1, 64), Bidirectional(tf.keras.layers.LSTM(64)), Dense(64, activation='relu'), Dense(1, activation='sigmoid') ])embedding의 차원 64와 LSTM hidden size 64와 Dense의 64는 항상 같아야 되는게 맞나요? tf.keras.layers.LSTM(64))위 코드를 해석해보면, LSTM의 input에 대한 weight 개수가 64개 인데 Dense(64, activation='relu'),그 weight들을 fully connected 뉴런들로 덧붙여주겠다는 뜻으로 해석하면 될까요? 

 안녕하세요, 강의에서 사용하시는 구글 코랩에서 sklearn 모듈의 버전을 확인하고 싶은데요, 보통 사용하는 sklearn.__version__ 이나 import 한 모듈 이것저것 시도해봐도 전부  AttributeError: type object 'CountVectorizer' has no attribute '__version__'나 NameError: name 'sklearn' is not defined 라는 오류가 뜹니다 (pd.__version__은 잘 작동)  sklearn 버전은 어떻게 확인해야 하나요? 그리고 왜 sklearn은 정의되지 않았다는 오류가 뜨는건가요?

예를들어 skip-gram(window size 2) 에서I love king of Korea이라는 문장을 워드임베딩 하게 되면,'king', 'I love', 'of Korea' 5개의 단어 중 3차원(I love, king, of Korea) 의 벡터(ex. <0.3, 0.5, 0.1>) 가 되는건가요?차원은 어떻게 결정하는 것이고, 워드 임베딩 학습은 어떤식으로 진행되는지 예시를 설명해주실 수 있을까요?미리 감사합니다! 

안녕하세요.Beam-search 전략에서 joint probability를 만드는 문제 질문 드립니다.학습하면서 joint 확률분포를 여러 경우의 수에 대해 미리 모두 만들어놓는 개념이라고 보면 되나요?예를들어,"I love you so much" 를"난 널 매우 사랑해" 로 번역할 때 I가 나왔을 때, '그는 매우' 나 '철수는 사과를' 이 나올 확률보다는 '난 널' 이라고 나올 확률이 제일 높도록 학습하는 개념인가요?좋은 강의 감사합니다.

윈도우 사용자인데,%time clean_train_reviews = apply_by_multiprocessing(\ train['review'], review_to_words, workers=4) ,이 코드가 노트북이랑 데스크탑 둘다 몇 십분을 기다려도 실행되지 않아서, 무엇이 문제인지 알고 싶어서 문의드렸습니다.구글코랩말고, 제 로컬 환경에서 실행하고 싶어서요, 만약에 해결책이 없다면 환불을 하고 싶어요....ㅠ

%time clean_train_reviews = apply_by_multiprocessing(\ train['review'], review_to_words, workers=4) , 이 코드가, 1시간 동안 계속 실행 중만 나오고, 진행이 되지 않습니다. 혹시 문제를 알 수 있을까요?

코랩에서 import gluonnlp as nlp을 실행하면자꾸 이렇게 뜨는데해결방법이 있을까요??

Karas CRAFT로 한글 문장을 학습할 때 학습이 제대로 진행이 될까요 ??

Neural Style Transfer에 해당되는 강의자료 공유 부탁드립니다. 감사합니다. tae.park0302@gmaili.com

easyocr을 이용해서 text영역을 detect한 후에,detect된 이미지를 768 dimension으로 trocr("ddobokki/ko-trocr")을 pretrained model로 해서 개발하려면 어떻게 해야 하나요 ? 아님 더 좋은 방법 있으면 조언 부탁드립니다.

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.from nltk.util import pad_sequence from nltk.util import bigrams from nltk.util import ngrams from nltk.util import everygrams from nltk.lm.preprocessing import pad_both_ends from nltk.lm.preprocessing import flatten위 구문 실행 시, 아래와 같은 에러가 뜹니다.------------------------------------------------------------------------ --------------------------------------------------------------------------- ImportError Traceback (most recent call last) <ipython-input-5-db6c290979e8> in <cell line: 5>() 3 from nltk.util import ngrams 4 from nltk.util import everygrams ----> 5 from nltk.lm.preprocessing import pad_both_ends 6 from nltk.lm.preprocessing import flatten /usr/local/lib/python3.10/dist-packages/nltk/lm/counter.py in <module> 13 from __future__ import unicode_literals 14 ---> 15 from collections import Sequence, defaultdict 16 17 from six import string_types ImportError: cannot import name 'Sequence' from 'collections' (/usr/lib/python3.10/collections/__init__.py) --------------------------------------------------------------------------- NOTE: If your import is failing due to a missing package, you can manually install dependencies using either !pip or !apt. To view examples of installing some common dependencies, click the "Open Examples" button below. ---------------------------------------------------------------------------

안녕하세요.. 한국어 분석과 영어 분석의 차이중 라이브러리를 달리 사용하는 거 말고 파이썬에서의 코드의 차이점이 있나요? 

파트별 해당 링크를 클릭하면 전부 오류가 나요..part1은 다른 분이 질문해주셔서 링크걸어 코랩으로 들어갔는데다른강의들은 없어서요.. part별로 코랩 링크 다시 부탁드려요