Taxi가 랜덤하게 init된 손님와 목적지의 위치를 아는 이유는 observations 환경이라 그런 걸까요?랜덤하게 목적지와 손님의 위치가 설정되더라도 과업을 어느정도 완벽히 수행하게 되는 원리는 어떤 특정 지점에 대해서 손님의 위치까지의 경로 계획을 위한 행동 가치에 대한 훈련과 그 손님의 위치에서 목적지를 향한 경로 계획에 대해서의 가치 훈련을 수행 했기 때문으로 보는 것이 맞을까요?

강의내용이 너무 좋습니다~ 실습내용도 적용해보고 싶은데 강의에서 사용되는 코드는 제공이 안되나요?? 화면을 보고 다 쳐야 하는지요....

첫번째 문제의 보기가 matmul 이 아닌지요?

안녕하세요강의를 듣다보니 train epoch의 metric은 초기에0.0으로 선언하고validate epoch의 metric은 0으로 선언하는 것을 볼 수 있었습니다.혹시 담겨진 어떤 의미가 있을까요?

안녕하세요~!강의 pdf 파일 받을 수 있을까요? 강의 듣고 복습하는데 pdf 파일로 복습하려고 하거든요!

 9분 52초의 Policy Improvement table에서는 blue statement를 통과해서 가는데 optimal이라고 화살표가 나아 있는데, 14분 6초에서는 blue statement를 거치지 않고 돌아서 가는 것이 optimal이라고 화살표가 표시되어 있습니다.그냥 theta의 값을 두고 iteration을 한 차이 인걸까요?

안녕하세요. 약 4분 경, value function 을 구할때stochastic 하게 state가 결정된다면, 각 state가 결정될 확률값은 고려하지 않아도 되는건가요?예를들면, class1에서 class2로 갈 확률과 facebook 으로 갈 확률이 0.5 인데, 그렇다면 각 첫번째 단계에서 reward x 확률값(0.5) 이런식으로 고려하지는 않아도 되는것인지 질문드립니다. 감사합니다.

안녕하세요.강화학습 자체가 reward를 최대화 하는 방향으로 학습을 하는 것인데,그럼 결국 reward 를 최대화 하는 방향인 것인지, value function을 최대화 하는 방향인 것인지헷갈려서 질문드립니다. 

안녕하세요.그럼 stochastic env. 에서특정 action을 선택해서 행했을때, 그 action이 이루어 지는지 다른 action이 이루어 지는지에 대한 확률이 transition probability(전이확률) 이 되는 것이라는 말씀인지요? 감사합니다.

안녕하세요. 전이확률과 stochastic policy 가 헷갈려서 그런데,stochastic policy 에서 특정 action을 할 확률이 전이확률이 되는 건가요?아니면, 두개가 구별된 개념인 것인가요? 감사합니다.

model based method 에서모델을 안다는 것이, value function 정보까지 다 알고 있다는 것일까요? 만약 아니라면, planning 시 가치함수는 어떻게 고려가 되는 것인지 궁금합니다.

안녕하세요.강화학습이 time sequential data 를 다룬다고 하셨고, 예시로 language 데이터 를 말씀하셨는데, 이런 이유로 최근 LLM 개발시, 앞단에서 강화학습 알고리즘을 적용하는 것일까요? 감사합니다.

''' 질문 내용 강의 수강하며 따로 코드 수정없이 실행해보며 이해해보는 중입니다. 아래와 같은 에러가 나서 수정해보고자 하는데 에러 해결이 안되어서 여쭤봅니다. 상기의 ''' ######### 실행 코드 from torch.optim import Adam BATCH_SIZE = 32 INPUT_SIZE = 28 # train_loader = DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4 ) # val_loader = DataLoader(val_data, batch_size=BATCH_SIZE, shuffle=False, num_workers=4) # model, device, optimizer, loss 함수 생성. model = create_simple_linear_model(input_size=INPUT_SIZE, num_classes=10) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') optimizer = Adam(model.parameters(), lr=0.001) loss_fn = nn.CrossEntropyLoss() # Trainer 객체 생성. trainer = Trainer_01(model=model, loss_fn=loss_fn, optimizer=optimizer, train_loader=train_loader, val_loader=val_loader, device=device) #fit() 을 호출하여 학습과 검증을 epochs 수 만큼 반복 수행. trainer.fit(epochs=10) ########### 에러내용 --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) /tmp/ipykernel_36/3815854863.py in <cell line: 0>() 8 model = create_simple_linear_model(input_size=INPUT_SIZE, num_classes=10) 9 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') ---> 10 optimizer = Adam(model.parameters(), lr=0.001) 11 loss_fn = nn.CrossEntropyLoss() 12 /usr/local/lib/python3.11/dist-packages/torch/optim/adam.py in init(self, params, lr, betas, eps, weight_decay, amsgrad, foreach, maximize, capturable, differentiable, fused) 97 fused=fused, 98 ) ---> 99 super().__init__(params, defaults) 100 101 if fused: /usr/local/lib/python3.11/dist-packages/torch/optim/optimizer.py in init(self, params, defaults) 375 376 for param_group in param_groups: --> 377 self.add_param_group(cast(dict, param_group)) 378 379 # Allows cudagraph_capture_health_check to rig a poor man's TORCH_WARN_ONCE in python, /usr/local/lib/python3.11/dist-packages/torch/_compile.py in inner(*args, **kwargs) 25 disable_fn = getattr(fn, "__dynamo_disable", None) 26 if disable_fn is None: ---> 27 import torch._dynamo 28 29 disable_fn = torch._dynamo.disable(fn, recursive) /usr/local/lib/python3.11/dist-packages/torch/_dynamo/__init__.py in <module> 1 import torch 2 ----> 3 from . import convert_frame, eval_frame, resume_execution 4 from .backends.registry import list_backends, lookup_backend, register_backend 5 from .callback import callback_handler, on_compile_end, on_compile_start /usr/local/lib/python3.11/dist-packages/torch/_dynamo/convert_frame.py in <module> 31 from torch._C._dynamo.guards import GlobalStateGuard 32 from torch._dynamo.distributed import get_compile_pg ---> 33 from torch._dynamo.symbolic_convert import TensorifyState 34 from torch._guards import compile_context, CompileContext, CompileId, tracing 35 from torch._logging import structured /usr/local/lib/python3.11/dist-packages/torch/_dynamo/symbolic_convert.py in <module> 28 from torch._guards import tracing, TracingContext 29 ---> 30 from . import config, exc, logging as torchdynamo_logging, trace_rules, variables 31 from .bytecode_analysis import ( 32 get_indexof, /usr/local/lib/python3.11/dist-packages/torch/_dynamo/trace_rules.py in <module> 3264 "torch.distributed._composable.replicate", 3265 } -> 3266 if not torch._dynamo.config.skip_fsdp_hooks: 3267 LEGACY_MOD_INLINELIST.add("torch.distributed.fsdp._fully_shard") 3268 AttributeError: partially initialized module 'torch._dynamo' has no attribute 'config' (most likely due to a circular import)

안녕하세요파이토치 강의 잘 듣고 있습니다.이전 글을 봤을 때,객체 탐지 구현하는거 계획중이라고 들었는데,혹시 진행되고 있는지, 한다면 언제쯤 강의 오픈하는지 여쭙고자 합니다 !

trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_bionlp["train"], eval_dataset=tokenized_bionlp["validation"], tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() 강의에서는 training 하면 바로 된다고 하셨는데, 2025년 8월 현재 입력하면 wandb: Logging into wandb.ai. (Learn how to deploy a W&B server locally: https://wandb.me/wandb-server) wandb: You can find your API key in your browser here: https://wandb.ai/authorize?ref=models wandb: Paste an API key from your profile and hit enter: 위와 같이 나옵니다. 어떻게 하면 될까요?

안녕하세요! 강의 너무 잘 듣고 있습니다. 파이썬 언어 정도만 이해한 상태에서 해당 강의를 수강하고 있습니다.딥러닝에서 퍼셉트론이 가지고 있는 정의와 은닉층을 통과하면서 '무언가'를 학습하고 output으로 결과를 도출해낸다.이런 학습 과정을 도와주는 여러 모듈들이 있으며 이는 nn.module이 있다. 정도로 이해 후 현재 Framework2 를 수강중에 있습니다.여기서 이해가 어려운 부분들이 있습니다.이미지 시각화 부분train_data에서[0][0]과 [0][1]은 이미지와 labes로 이미 페어가 된 자료라고 인지하면 될까요? show_images함수에서 class_names도 원래 약속되어있던 이름을 사람이 인지하기 좋게 이름만 매칭시켜준 것일까요?Linear 모델 생성 부분SimpleLinearModel_01 클래스가 초기화를 통해서 linear_01 -> 활성화 함수 -> linear_02 ->활성화 함수 -> linear_03 = output 으로 각 레이어를 지나가는 단계임은 인지가 되나, 왜 점차 features가 줄어드는가? 와 무엇을 학습하면서 layer를 지나가는가? 가 이해가 안됩니다. 결국 10개의 feature로 줄인다는것이 최초에는 28*28롤 784로 한 이미지의 pixel 갯수로 infeture로 받았으니 마지막에는 10개의 픽셀이 남는다는 것으로 이해되는데, 어떤 핵심(?) 또는 학습한 픽셀을 남기게 되는것인가? 가 궁금합니다.처음으로 학습하여 '무엇을 모르는가?' 에 대한 확신이 없어 질문이 조금 난잡하나, 꼭 이해하고 싶어 질문드립니다.추가로 제가 이해가 부족하다고 판단되는 부분이나 추가학습 부분 추천해주시면 감사하겠습니다.감사합니다!

Deep Q-Learning algorithm에 대하여target Q와 Q 학습 과정에서 Q값이 학습되면 행동도 target Q와 Q가 같아 지는게 잘 이해되지 않습니다. 처음에는 각각의 서로 다른 행동의 Q값들이 각각의 행동별 Target Q에 동시 학습되는 것으로 이해를 하였는데, 그런게 아닌거 같습니다.

안녕하세요?2일차 2-2 실습_회귀_모델링에서 마지막 평가부분에서 결과가 아래처럼 나오는데요MSE : 31.6591796875MAE : 4.914498329162598MAPE : 127302268616704.0 MAPE 가 매우 큰값이 나왔는데 이게 맞는건가요? 강사님이 주신 코드를 그대로 실행해 봐도 매우 큰값이 나오던데 이렇게 큰값이 나와도 괜찮은건가요?

 혹시 원래 import시 대량의 시간이걸리는 것 일까요?import 후 전체적으로 따라가려했으나, 진행이 더뎌져서 학습이 더뎌지는 중이여서 문의드립니다.특정 세팅이 잘못되어있는 것인지... 궁금합니다! 감사합니다.

CNN위주의 강의인데 RNN과는 아에 다른 영역인가요?