whitebox

안녕하세요,&nbsp;Transformer 구조를 배우고 싶으신거라면<ul><li>Scale Dot Product (기본적인 Transformer 구조) 구현</li><li>Multi Head Attention 구현</li></ul>이 두가지를 먼저 구현해보시고 MNIST나 CIFAR10 dataset에서 위의 구조를 layer로 섞어 classification하는걸 먼저 해보시길 추천 드립니다.&nbsp;Transformer 구조를 활용한 논문을 구현해보고 싶으시다면<ul><li>language model쪽은 직접 구현 하기 보다 구현체를 보고 이해하는것으로도 충분 할 것 같고<ul><li>이쪽은 dataset을 모으고 data preprocessing 하는게 더 중요 합니다.</li></ul></li><li>vision쪽은 <a target="_blank" rel="noopener noreferrer nofollow" href="https://arxiv.org/abs/2010.11929">ViT(An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)</a>&nbsp;</li></ul>추천 드립니다.

추후 scratch부터 해볼만한 모델을 추천받을 수 있을까요?

안녕하세요, cuda 6.0을 설치하시려는 이유가 GPU 기종 때문인가요? 제가 알기론 pytorch는 cuda 6.0을 지원하지 않습니다.&nbsp;만약 적절한 GPU가 없으시다면 cpu버전으로 학습을 시도 해보셔도 괜찮습니다.

cuda sdk 설치 중 질문이 있습니다.(쌤~~추가질문 댓글로 올려놨으니 답변 부탁드려용~~)

이 궁금증을 가장 확실하게 해결하는 방법은 Pytorch의 Conv layer의 implementation을 자세히 살펴 보는것입니다. 하지만 이건 조금 복잡하니 우회를 해보죠.만약 질문자분이 말씀하신것처럼 하나의 필터를 모든 input_channel에 동일하게 적용한다면 필터가 8개 사용될것입니다. 그러면 conv layer의 parameter가 (bias를 제외하고) 3*3*8이 되겠죠.각각의 채널마다 필터가 하나씩 적용된다면 필터가 24개 사용될 것입니다. 그러면 conv layer의 parameter가 (bias를 제외하고) 3*3*24이 되겠죠.&nbsp;한번 Conv layer를 input_channel=3, output_channel=8 세팅 하고 parameter 수를 확인 해보시기 바랍니다.&nbsp;&nbsp;

input_channel, output_channel은  질문입니다.

일반적으로 jupyter notebook과 python 파일이 같은 디렉토리에 있다면 해당 python 파일에 구현되어 class를 가져 올 수 있어야 합니다.&nbsp;<img src="https://cdn.inflearn.com/public/files/posts/e3273ead-852c-4fa3-92d8-133c1fef3e40/2b34bfbb-cceb-478a-b23d-287ea6d901e8.png" media-type="img" alt="image.png" title="image.png" width="657" height="239">&nbsp;ImportError가 발생하는 경우는<ol><li>간단하게 오타가 있는 경우(가령 class명이 StyleTransfer가 아니라 StyleTrnasfer)입니다.</li><li>그것도 아니라면 jupyter notebook을 재시작해 보시길 바랍니다. <a target="_blank" rel="noopener noreferrer nofollow" href="https://www.inflearn.com/community/questions/1496714/loss-4-%EA%B0%95%EC%9D%98-%EB%A7%88%EC%A7%80%EB%A7%89-%EB%B6%80%EB%B6%84-jupyter-notebook-%EC%9E%AC%EC%8B%9C%EC%9E%91-%EA%B4%80%EB%A0%A8-%EC%A7%88%EB%AC%B8">(참고)</a></li></ol>만약 위 두가지로도 해결이 안된다면 가능한 경우 다른 환경에서도 테스트 해보시기 바랍니다. (가령 다른 컴퓨터)&nbsp;

import 오류 관련

네 pip로 설치하셔도 문제 없습니다. GPU버전을 설치하신다면 본인 GPU에 맞는 CUDA버전 설치를 따로 해줘야 한다는 번거로움이 있습니다만 CPU 버전은 상관 없습니다. 그리고 PyTorch 2.6 버전부터 지원이 중단된터라 (ref. <a target="_blank" rel="noopener noreferrer nofollow" href="https://discuss.pytorch.kr/t/pytorch-2-6/6005?utm_source=chatgpt.com">https://discuss.pytorch.kr/t/pytorch-2-6/6005?utm_source=chatgpt.com</a>) 이전 버전은 conda로 다운로드 가능해 보입니다. (ref. <a target="_blank" rel="noopener noreferrer nofollow" href="https://pytorch.org/get-started/previous-versions/">https://pytorch.org/get-started/previous-versions/</a>)PyTorch 2.6 이전 버전을 사용하셔도 전혀 문제 없으니 2.6 이전버전을 conda로 install 하셔도 됩니다.

pytorch 설치시 anaconda를 더이상 지원하지 않는다고 합니다.

제가 질문 확인이 늦었네요 죄송합니다...질문자분 말씀대로 VGG19의 원래 설계는 ImageNet 데이터셋의 표준 크기인 224x224 이미지를 처리하도록 되어 있습니다. 하지만 저희의 목적은 classification이 아니기 때문에 이미지 사이즈는 바꿔도 상관 없습니다. 강의코드에서 512로 설정한 이유는 특별한 이유가 없습니다. 512x512의 이미지를 생성하는데 필요한 학습시간이 그렇게 길지 않고 이미지 사이즈도 육안으로 보았을때 해상도가 너무 낮지 않은 정도라 512로 택했습니다.224가 맞는것 아닌가에 대한 것은 굉장히 재밌는 접근이 필요한거 같습니다. 제가 새로운 논문을 쓴다고 했다면 224로 정했을거 같아요. reference한 논문에서 그렇게 실험을 했으니까요.하지만 제가 서비스를 한다고 하면 이미지 사이즈를 최대한 키울겁니다. 사람들이 보기엔 224는 해상도가 너무 낮기 때문이죠.

vgg19 입력 이미지의 width, height 에 관하여.

jupyter notebook에서는 재시작 하기 전까지 import된 패키지가 업데이트 되지 않습니다. 해당 블록을 재실행 해도 업데이트가 되지 않습니다. 이는 jupyter notebook이 import한 모듈을 캐싱해 두기 때문입니다.그래서 업데이트된 모듈을 다시 import 하기 위해 jupyter notebook을 재시작 했습니다.도움이 되셨길 바래요.&nbsp;&nbsp;

Loss (4) 강의 마지막 부분 jupyter notebook 재시작 관련 질문

두 가지 접근 방식 모두 유효하며, 어떤 방식이 "일반적"이라고 말하기는 어렵습니다. 둘다 장단점이 있는데요,&nbsp;<ol><li>train.py에서 total loss를 사용하는경우</li></ol>초기 실험 단계에서는 loss 조합을 바꿔 보기도 하고(e.g. StyleLoss만 사용한다거나) 하이퍼 파라미터를 하드코딩으로 바꿔보기도 하기 때문에 클래스로 캡슐라이징 하는것 보다 train.py에서 하드코딩하는게 초기 실험 단계에선 더 편한것 같습니다.<ol start="2"><li>class로 캡슐라이징 하는 경우</li></ol>캡슐라이징 하는 시점에서 이미 구조는 정해진것이나 다름 없습니다. 실험이나 학습을 반복적으로 돌려야 하는 경우는 이 방법이 실험을 관리하기 더 편할수 있습니다.&nbsp;코딩 스타일에 따라도 달라질수 있어서 상황에 맞게 선택 하면 될것 같습니다. 개인적으로 코딩에는 오답은 있지만 정답은 없다고 생각합니다.

loss.py 와 train.py 역할 명료화

안녕하세요,제 논문구현 강의는 기능 구현을 파일별로 쪼개서 프로젝트를 수행하듯 진행하기에 코랩을 사용하면 이런 패키지 관리를 하기가 어렵습니다. (논문 구현의 흐름을 따라가는것 자체에는 큰 문제가 없습니다.)이부분이 어느정도 익숙하다면 사실 큰 문제가 되지 않지만 이런 부분도 코랩으로 챙겨가고 싶다고 하실때 차안이 있습니다.1. 코랩을 사용하지 않고 진행 -> 이경우 CPU버전으로 논문구현을 진행하게 되고 학습 속도가 많이 느려서 결과 보기 어려우실수도 있습니다.2. 코랩을 사용하여 진행(GPU) -> 이 경우 제 코드에서 train.py만 train.ipynb 버전으로 만드는등 코랩에서 진행 하면 됩니다. 나머지는 똑같이 패키지 형식 (e.g. *.py)으로 두고 import 해서 사용 하시면 됩니다.

논문구현 강의수강 관련

PyTorch GPU를 지원하는 엔비디아 GPU가 없으면 PTorch GPU를 사용할수 없습니다.Intel GPU를 가속 시키는 PyTorch 기능이 있는것으로 아는데 (e.g. dpcpp) 해당 환경을 구축 하시는데 너무 많은 시간을 투자 하는것은 추천 하지 않습니다.

whitebox

Posts