안녕하세요.강사님.지난번에 확인해주신 부분을 잘 완료되고, 이제 transformer 쪽 코드를 현재 따라쳐 보고려고 하는데, version 문제인지 tokenizers = tf.saved_model.load(model_name)이쪽 코드에서 오류가 나는 상태입니다.혹시 어떻게 해결해야 할까요?https://www.tensorflow.org/text/tutorials/transformer?hl=ko사이트에서 "Google Calab 에서 실행" 버튼으로 예제 문제를 실행시켜도 위의 부분에서 오류가 나는데요..뭘 잘 못하거나 뭐가 문제가 된 건지 알 수있을까요?

현재(9월5일 기준) 파이선 3.13.7을 다운받고 보면 scripts폴더가 없거나 있어도 아무것도 없이 텅 비어있습니다. 당연히 fastapi와 uvicorn 설치도 안되구요 ㅠㅠ 더이상 진행을 못하고 있습니다 ㅠㅠ어떻게 해야할까요?

첫번째 문제의 보기가 matmul 이 아닌지요?

안녕하세요.8월 중으로 추가 강의가 올라온다고 되어있는데언제쯤 볼 수 있을까요?답변 부탁드립니다. 감사합니다.

안녕하세요강의를 듣다보니 train epoch의 metric은 초기에0.0으로 선언하고validate epoch의 metric은 0으로 선언하는 것을 볼 수 있었습니다.혹시 담겨진 어떤 의미가 있을까요?

안녕하세요~!강의 pdf 파일 받을 수 있을까요? 강의 듣고 복습하는데 pdf 파일로 복습하려고 하거든요!

 9분 52초의 Policy Improvement table에서는 blue statement를 통과해서 가는데 optimal이라고 화살표가 나아 있는데, 14분 6초에서는 blue statement를 거치지 않고 돌아서 가는 것이 optimal이라고 화살표가 표시되어 있습니다.그냥 theta의 값을 두고 iteration을 한 차이 인걸까요?

안녕하세요. 약 4분 경, value function 을 구할때stochastic 하게 state가 결정된다면, 각 state가 결정될 확률값은 고려하지 않아도 되는건가요?예를들면, class1에서 class2로 갈 확률과 facebook 으로 갈 확률이 0.5 인데, 그렇다면 각 첫번째 단계에서 reward x 확률값(0.5) 이런식으로 고려하지는 않아도 되는것인지 질문드립니다. 감사합니다.

안녕하세요.강화학습 자체가 reward를 최대화 하는 방향으로 학습을 하는 것인데,그럼 결국 reward 를 최대화 하는 방향인 것인지, value function을 최대화 하는 방향인 것인지헷갈려서 질문드립니다. 

안녕하십니까 강사님 마지막까지 좋은 강의로 마무리해주셔서 감사드립니다.혹시 시간이 괜찮으시다면 지금까지 배운 내용들을 토대로 end-to-end mlops framework를 만들어서 실제로 사용하는 모습에 대한 강의도 추가적으로 제작해주실 수 있으신가요? mlops의 각 파트에 대한 내용은 너무 자세히 다뤄주셨지만 각 파트당 연결되는 부분이랑 결국 최종적으로 이 배운것들을 어떻게 융합하는지에 대한 내용도 있으면 너무 좋을 것 같습니다. 감사합니다.

안녕하세요.그럼 stochastic env. 에서특정 action을 선택해서 행했을때, 그 action이 이루어 지는지 다른 action이 이루어 지는지에 대한 확률이 transition probability(전이확률) 이 되는 것이라는 말씀인지요? 감사합니다.

안녕하세요. 전이확률과 stochastic policy 가 헷갈려서 그런데,stochastic policy 에서 특정 action을 할 확률이 전이확률이 되는 건가요?아니면, 두개가 구별된 개념인 것인가요? 감사합니다.

model based method 에서모델을 안다는 것이, value function 정보까지 다 알고 있다는 것일까요? 만약 아니라면, planning 시 가치함수는 어떻게 고려가 되는 것인지 궁금합니다.

안녕하세요.강화학습이 time sequential data 를 다룬다고 하셨고, 예시로 language 데이터 를 말씀하셨는데, 이런 이유로 최근 LLM 개발시, 앞단에서 강화학습 알고리즘을 적용하는 것일까요? 감사합니다.

안녕하세요.강사님. 우선 강의 잘 보고 있습니다. AI 코드에 익숙치 않아서 그런지..강의 내용을 따라 쳐서 완료를 했는데, 무슨 이유에서 인지, 모델을 훈련 후에 해당 함수를 써서 확인하는 구간에서def decode_sequence(input_seq):어떤 문장을 돌려도 <eos> 가 발생해 2~3번째 이상 넘길수가 없는 상태인데요.코드 내용은 아래와 같습니다.강의 영상에선 어느정도 준수한 수준의 Translation 이 되는것 같아보여, 영상이랑 코드 비교도 더해보고, epochs 도 조금 더 올려서 해보기도 했는데 역시나 잘 안되서..강의 코드를 복붙에서 쳐볼까도 했는데 전체적으로 온전한 코드가 아닌 상태여서 혹시 제가 비정상적으로 동작되는게 원래 맞는건지 문의드리고 싶습니다.감사합니다.

''' 질문 내용 강의 수강하며 따로 코드 수정없이 실행해보며 이해해보는 중입니다. 아래와 같은 에러가 나서 수정해보고자 하는데 에러 해결이 안되어서 여쭤봅니다. 상기의 ''' ######### 실행 코드 from torch.optim import Adam BATCH_SIZE = 32 INPUT_SIZE = 28 # train_loader = DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4 ) # val_loader = DataLoader(val_data, batch_size=BATCH_SIZE, shuffle=False, num_workers=4) # model, device, optimizer, loss 함수 생성. model = create_simple_linear_model(input_size=INPUT_SIZE, num_classes=10) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') optimizer = Adam(model.parameters(), lr=0.001) loss_fn = nn.CrossEntropyLoss() # Trainer 객체 생성. trainer = Trainer_01(model=model, loss_fn=loss_fn, optimizer=optimizer, train_loader=train_loader, val_loader=val_loader, device=device) #fit() 을 호출하여 학습과 검증을 epochs 수 만큼 반복 수행. trainer.fit(epochs=10) ########### 에러내용 --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /tmp/ipykernel_36/3815854863.py in <cell line: 0>() 8 model = create_simple_linear_model(input_size=INPUT_SIZE, num_classes=10) 9 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') ---> 10 optimizer = Adam(model.parameters(), lr=0.001) 11 loss_fn = nn.CrossEntropyLoss() 12 /usr/local/lib/python3.11/dist-packages/torch/optim/adam.py in init(self, params, lr, betas, eps, weight_decay, amsgrad, foreach, maximize, capturable, differentiable, fused) 97 fused=fused, 98 ) ---> 99 super().__init__(params, defaults) 100 101 if fused: /usr/local/lib/python3.11/dist-packages/torch/optim/optimizer.py in init(self, params, defaults) 375 376 for param_group in param_groups: --> 377 self.add_param_group(cast(dict, param_group)) 378 379 # Allows cudagraph_capture_health_check to rig a poor man's TORCH_WARN_ONCE in python, /usr/local/lib/python3.11/dist-packages/torch/_compile.py in inner(*args, **kwargs) 25 disable_fn = getattr(fn, "__dynamo_disable", None) 26 if disable_fn is None: ---> 27 import torch._dynamo 28 29 disable_fn = torch._dynamo.disable(fn, recursive) /usr/local/lib/python3.11/dist-packages/torch/_dynamo/__init__.py in <module> 1 import torch 2 ----> 3 from . import convert_frame, eval_frame, resume_execution 4 from .backends.registry import list_backends, lookup_backend, register_backend 5 from .callback import callback_handler, on_compile_end, on_compile_start /usr/local/lib/python3.11/dist-packages/torch/_dynamo/convert_frame.py in <module> 31 from torch._C._dynamo.guards import GlobalStateGuard 32 from torch._dynamo.distributed import get_compile_pg ---> 33 from torch._dynamo.symbolic_convert import TensorifyState 34 from torch._guards import compile_context, CompileContext, CompileId, tracing 35 from torch._logging import structured /usr/local/lib/python3.11/dist-packages/torch/_dynamo/symbolic_convert.py in <module> 28 from torch._guards import tracing, TracingContext 29 ---> 30 from . import config, exc, logging as torchdynamo_logging, trace_rules, variables 31 from .bytecode_analysis import ( 32 get_indexof, /usr/local/lib/python3.11/dist-packages/torch/_dynamo/trace_rules.py in <module> 3264 "torch.distributed._composable.replicate", 3265 } -> 3266 if not torch._dynamo.config.skip_fsdp_hooks: 3267 LEGACY_MOD_INLINELIST.add("torch.distributed.fsdp._fully_shard") 3268 AttributeError: partially initialized module 'torch._dynamo' has no attribute 'config' (most likely due to a circular import)

안녕하세요파이토치 강의 잘 듣고 있습니다.이전 글을 봤을 때,객체 탐지 구현하는거 계획중이라고 들었는데,혹시 진행되고 있는지, 한다면 언제쯤 강의 오픈하는지 여쭙고자 합니다 !

trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_bionlp["train"], eval_dataset=tokenized_bionlp["validation"], tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() 강의에서는 training 하면 바로 된다고 하셨는데, 2025년 8월 현재 입력하면 wandb: Logging into wandb.ai. (Learn how to deploy a W&B server locally: https://wandb.me/wandb-server) wandb: You can find your API key in your browser here: https://wandb.ai/authorize?ref=models wandb: Paste an API key from your profile and hit enter: 위와 같이 나옵니다. 어떻게 하면 될까요?

안녕하세요! 강의 너무 잘 듣고 있습니다. 파이썬 언어 정도만 이해한 상태에서 해당 강의를 수강하고 있습니다.딥러닝에서 퍼셉트론이 가지고 있는 정의와 은닉층을 통과하면서 '무언가'를 학습하고 output으로 결과를 도출해낸다.이런 학습 과정을 도와주는 여러 모듈들이 있으며 이는 nn.module이 있다. 정도로 이해 후 현재 Framework2 를 수강중에 있습니다.여기서 이해가 어려운 부분들이 있습니다.이미지 시각화 부분train_data에서[0][0]과 [0][1]은 이미지와 labes로 이미 페어가 된 자료라고 인지하면 될까요? show_images함수에서 class_names도 원래 약속되어있던 이름을 사람이 인지하기 좋게 이름만 매칭시켜준 것일까요?Linear 모델 생성 부분SimpleLinearModel_01 클래스가 초기화를 통해서 linear_01 -> 활성화 함수 -> linear_02 ->활성화 함수 -> linear_03 = output 으로 각 레이어를 지나가는 단계임은 인지가 되나, 왜 점차 features가 줄어드는가? 와 무엇을 학습하면서 layer를 지나가는가? 가 이해가 안됩니다. 결국 10개의 feature로 줄인다는것이 최초에는 28*28롤 784로 한 이미지의 pixel 갯수로 infeture로 받았으니 마지막에는 10개의 픽셀이 남는다는 것으로 이해되는데, 어떤 핵심(?) 또는 학습한 픽셀을 남기게 되는것인가? 가 궁금합니다.처음으로 학습하여 '무엇을 모르는가?' 에 대한 확신이 없어 질문이 조금 난잡하나, 꼭 이해하고 싶어 질문드립니다.추가로 제가 이해가 부족하다고 판단되는 부분이나 추가학습 부분 추천해주시면 감사하겠습니다.감사합니다!

Deep Q-Learning algorithm에 대하여target Q와 Q 학습 과정에서 Q값이 학습되면 행동도 target Q와 Q가 같아 지는게 잘 이해되지 않습니다. 처음에는 각각의 서로 다른 행동의 Q값들이 각각의 행동별 Target Q에 동시 학습되는 것으로 이해를 하였는데, 그런게 아닌거 같습니다.