Warp를 동시에 돌린다는 말이 이해가 가지 않습니다.
안녕하세요. 먼저 좋은 CUDA 강의를 제공해주셔서 감사합니다.
다름이 아니라 15-4 강의에서 Warp를 동시에 돌린다는 말에 질문이 있습니다.
Warp 스케줄링을 저는 아래와 같이 비교하여 이해하였습니다.
CPU: Core -> 여러개의 쓰레드
GPU: SM -> 여러개의 Warp
강의 내용처럼, CUDA에서 Warp별로 스케줄링을 관리를 한다면 모든 SP의 Clock들이 같은 Instruction을 수행(SM내 SP들의 Clock들은 Sync가 맞음)하여야 Warp단위로 스케줄링이 가능할 것 같은데, 제 생각이 맞는지 궁금합니다.
감사합니다.
답변 1
0
안녕하세요.
네. 당연히 그렇게 처리 합니다.
SM 1개 내의 모든 SP 들은 같은 clock 으로 동시에 실행됩니다.
warp 단위로 실행 해야 하다 보니, 같은 warp 를 실행하는 32개의 SP 는 instruction 도 똑같은 것을 수행합니다.
강의에서도 한번 설명했지만, GPU 구조에서는 ALU + control unit 쪽을 줄이는 대신 갯수를 늘리는 쪽으로 설계 방향을 잡았는데, ALU 를 줄이는 데는 한계가 있고, 결국 control unit을 최대한 줄이는 방법이, 32개의 warp를 실행하는 32개의 SP가 control unit 1개의 통제를 받는 방식이고, 이러면, 이들은 동시에 똑같은 instruction을 수행하는 수 밖에 없습니다.
감사합니다.
5-B
0
28
2
질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?
0
30
2
20년 4,5회 13번
0
26
2
11강 CallOrRegister_OnExperienceLoaded 질문
0
32
1
4 - A
0
33
2
코딩살구클럽 입장이 안됩니다
0
84
2
강의자료는 어디서 받을 수 있죠?
1
36
2
4-F 경우의 수 질문입니다.
0
36
2
코딩살구클럽 가입이 안됩니다.
0
90
2
살구 클럽에 대한 질문있습ㄴ디ㅏ
0
65
1
교안 158페이지 문의드립니다
0
47
2
코딩살구클럽 관련 건의사항
0
124
1
코살에 19942 다이어트 문제에 N의 범위가 빠져있슴니다
0
46
1
Reticle이 안나옵니다.
0
28
2
ch .12 grid 설정 관련 질문 드립니다.
0
76
2
memcpy 시간 고려 시 gpu vs. cpu
0
85
2
common.cpp의 procArg 함수에 대해 질문이 있습니다.
0
134
2
Thread Block 개수에 제한이 있나요?
0
404
1
매크로 함수를 쓴 이유
0
302
1
VS2022 컴파일 에러
0
367
2
global 변수가 cuda memory에서 사용되는 이유
0
370
1
Warp 갯수에 대한 고찰입니다....
0
542
2
15강 Block ID 예제 오류 질문입니다.
0
361
1
컴파일 시의 <typeinfo> 관련 에러
0
586
1