처음하는 딥러닝과 파이토치(Pytorch) 부트캠프 (쉽게! 기본부터 챗GPT 핵심 트랜스포머까지) [데이터분석/과학 Part3]

안녕하세요. 잔재미코딩 Dave Lee 입니다.

다름이 아니라 최근 PyTorch 버전에서 코드 상에 동작이 조금 다르게 보일 수 있는 부분이 있어서 공유를 드립니다.

최근 PyTorch 버전에서는 FloatTensor() 로 텐서 작성시, 각 텐서를 랜덤한 값이 아닌, 0으로 초기화합니다.

(내부 메모리를 할당하되 값을 따로 “0”이나 랜덤값으로 초기화하지 않기 때문에, 무작위로 보이는 값(실제로는 메모리에 남아 있던 쓰레기? 값)이 들어간 것이었는데, 이를 최신 버전에서는 강제로 0으로 초기화하도록 하고 있습니다.)

따라서 특정 값을 임의로 지정해서 텐서를 만들지 않고, 단순 텐서 생성시에는 각 텐서 출력시 랜덤 값이 아닌, 초기값으로 0이 지정되어, 출력했을 때 0으로 나오게 되었으며, 이는 정상작동이므로 이 부분만 참고해보시면 좋을 것 같습니다.

해당 부분은 코드 자료에도 금일 설명을 넣어 전체 자료 업데이트하였습니다.

감사합니다.

잔재미코딩 Dave Lee 드림