16:07슬라이드에소 헷갈리는 부분이 있습니다

두 network 의 차이점을 추가로 설명 드리겠습니다.b 의 역할 - 에이전트가 환경에서 경험을 수집할 때 따르는 정책. 대표적인 예가 e-greedy 정책입니다.- 다양한 경험을 위해 epsilon 만큼 무작위 행동을 합니다. 만약 잘못된 선택이었으면 weight 를 잘못된 방향으로 업데이트 하게 되겠지만 잘된 선택이었으면 weight 업데이트가 올바른 방향으로 진행되게 합니다.오프폴리시 학습에 사용합니다. 2. Q 의 역할 - 네트워크 자체의 출력입니다. 현재 네트워크가 출력하는 정책이 좋은 정책이면 점점 그 방향으로 weight를 이동시킵니다. 좋은 질문 감사합니다.

미분 결과가 왜 저렇게 나오는지 궁금합니다.

(사진)를 미분하면 (연쇄법칙)(사진)따라서,(사진) 입니다.두번째 질문하신 내용은 잘 이해하고 계십니다. 즉, value(Q)가 높은 action은 gradient에 큰 양수 weight를 줘서 그 action이 선택될 확률이 커지도록 하고, value가 낮으면 선택 확률을 줄이는 방향으로 학습됩니다. 좋은 질문 감사합니다.

Fast R-CNN 강의 관련 질의사항입니다.

Q1. 그런데 region proposal 결과가 왜 원본 이미지와 달리 500×700 크기로 나오는지 궁금합니다.--> 800×800 전체에서 부분 영역만 골라서 처리한다는 걸 보여주기 위해 임의의 크기를 넣은 것 입니다.즉, 500×700은 고정값이 아니고, “region proposal은 원본 이미지보다 작은 부분 영역일 수 있다”는 사실을 이해시키기 위한 예시 숫자입니다. Q2. 또한 feature map은 원본 이미지 전체(800×800)를 커버하는 반면, region proposal은 앞선 질문처럼 이미지 일부(500×700)만을 다룹니다. 그런데도 RoI Projection을 적용했을 때, region proposal이 feature map 전체에 반영된 것처럼 보이는 그림이 이해되지 않습니다. 강의 자료에는 5x7 혹시 이는 그림의 단순화/오류인지 궁금합니다.--> 그림이 잘못된 건 아니고 설명을 쉽게 하려고 실제 계산 과정을 단순화해서 보여준 예시라서 그렇습니다. feature map은 전체 이미지를 커버하지만, RoI Projection은 region proposal이 차지하는 부분 영역만 골라서 feature map에서 잘라 씁니다. 강의자료의 그림이 feature map 전체에 색이 칠해진 것처럼 보이는 건 “설명용 그림”일 뿐이고, 실제 연산에서는 proposal에 해당하는 5×7 영역만 사용해 고정 크기로 max pooling 합니다.Q3. 추가적으로, Fast R-CNN과 Faster R-CNN은 네트워크 학습을 기반으로 하기 때문에 단순히 입력 이미지에 바운딩 박스를 그리는 것 외에도 라벨링 과정이 필요할 것 같습니다. 이러한 라벨들이 어떻게 생성되는지에 대한 추가 강의도 있으면 좋겠습니다. --> 좋은 지적 감사합니다. 다음에 강의를 업그레이드 할 때 포함시키도록 노력하겠습니다. 감사합니다.

mini-batch gradient descent 시 backpropagation에 대하여

backward() 가 하는일은 역전파(backpropagation)를 통해 각 파라미터에 대한 gradient를 계산해 gradient buffer(누적 저장소)에 넣는 것입니다. 예를 들어 batch 로 256 개 데이터의 평균값으로 미분 계산을 하고 optimizer.step() 에서 파라미터 업데이트를 하는 것을 반복합니다. 아래 인프런 AI 인턴의 답변이 정확합니다. 감사합니다.

섹션2 코드 관련하여 질의드립니다.

맞습니다. 현재 코드는 train_loss /= len(train_loader) 로 수정해서 batch 갯수로 나누어야 합니다. accuracy 는 현재 처럼 train_acc /= len(train_data) 나누면 됩니다.batch size 가 다른 경우 제안하신 대로 코딩하는 것이 가장 정확한 방법이지만 손실값을 계산하는 목적은 그 값이 줄어들고 있는지 비교하는 목적이므로 매우 정확한 값을 계산하지 않아도 지장 없습니다.교재에서도 train_loss /= len(train_loader) 로 수정해 놓았습니다.좋은 지적 감사합니다.

쥬피터노트북 통한 python3 연결실패

(사진) 혹시나 하여 아무 것도 깔리지 않은 새로운 pc 를 구해서 처음 부터 anaconda install --> 메뉴에서 Jupyter Notebook 실행 --> .ipynb 로 끝나는 노트북 파일 오픈 했는데 잘 됩니다.kernel unknown 밑에 no kernel 이라고 보이시는 부분을 click 하시면 kernel 을 선택할 수 있게 아래와 같은 창이 뜨는데 거기서 python 3(ipykernel) 을 선택하세요. 그래도 안되시면 anaconda 새로 설치하시길 권고합니다.(사진)(사진)

쥬피터노트북 통한 python3 연결실패

아래 순서대로 점검해 보세요.Python 커널 설치 여부 확인터미널(또는 Anaconda Prompt)에서 다음을 실행:python -m ipykernel --version 버전이 나오면 ipykernel 설치 OK안 나오면 설치:pip install ipykernel (Anaconda 환경이면 conda install ipykernel)

Taxi-v3에 대한 두 가지질문

맞습니다 . Taxi가 랜덤하게 init된 손님와 목적지의 위치를 아는 이유는 환경이 그렇게 구성되어 있기 때문입니다. Taxi 환경은 fully observable MDP로 설계되어 있어서 에이전트는 매 시점에 완전한 상태(state) 를 관측할 수 있습니다:현재 택시의 위치손님의 위치목적지의 위치이 정보가 observation에 포함되기 때문에, 에이전트는 매번 "내가 손님을 태우러 가야 하는지 / 이미 태웠는지 / 목적지까지 가야 하는지"를 판단할 수 있습니다. 좋은 질문 감사합니다.

Transformer 번역기 분석 - Part1 따라치기 질문

model_path = "/content/ted_hrlr_translate_pt_en_converter_extracted/ted_hrlr_translate_pt_en_converter"# 저장된 모델 로드tokenizers = tf.saved_model.load(model_path)이렇게 수정하시면 됩니다. 최근에 압축 풀리는 폴더명이 바뀐 것 같습니다. 교재에도 수정하여 곧 올리겠습니다. 감사합니다.

그림에 대해서 잘 이해가 안됩니다.

네, 맞습니다. 그 차이는 결국 Policy Evaluation → Policy Improvement를 반복하면서 수렴 과정에 있는 중간 단계 차이입니다.9분 52초: 아직 θ(수렴 오차 허용치) 기준으로 충분히 반복되지 않은 상태라, greedy update를 했을 때 “blue statement를 거쳐가는 경로”가 더 좋아 보이는 중간 정책이 나옵니다. 이때는 아직 최적 정책이 아닙니다.14분 6초: 더 많은 iteration을 거쳐 value function이 안정되면서, 실제로는 “blue statement를 돌아가는 경로”가 더 높은 value를 가지는 것이 드러납니다. 그래서 최종 optimal policy에서는 돌아가는 것이 선택됩니다.즉, θ의 크기와 반복 횟수 때문에 중간 단계에서는 경로가 달라 보일 수 있지만, iteration을 충분히 돌리면 결국 동일한 optimal policy에 수렴하게 됩니다.