Thread Block 개수에 제한이 있나요?
안녕하세요
저번 Vector Addition 수업에서는 256M(256 x 1024 x 1024)개의 연산을 수행하기 위해서
<<<256*1024, 1024>>>로 커널을 런치하여 Block의 개수에는 제한이 없는 것 처럼 보였는데,
15-5강의에서는 SM의 Thread Block은 32개 까지 가능이라고 하셔서 헷갈리는데
두 개의 Thread Block 개념이 다른 것인지 궁금합니다.
답변 1
1
안녕하세요.
둘다 thread block 에 대한 설명이었고, 둘다 맞는 설명입니다.
kernel design 시에는 thread block 의 갯수가 거의 제한되지 않습니다. (실제로는 제한이 있지만, 매우 큰 숫자라서, 실무에서는 이쪽 제한에 걸리기 전에, memory 용량 제한 등의 다른 제한이 먼저 걸리기 때문에, 제한이 없다고 설명합니다.)
반면, SM 에서는 1개의 SM 이 동시에 실행 가능한 thread block 갯수에 제한을 걸어 두었고, 보통 32개 정도로 제한됩니다. 그래서, SM 들은 kernel 에서 실행하고 있는 매우 많은 thread block 중에서, 딱 32개만 가져와서 실행을 시작하고, 실행 중인 것이 완료되면, 완료되는 대로, 1개씩 더 가져와서, 되도록 항상 32개의 thread block이 동시 실행 상태로 운영되게 합니다.
즉, CUDA 가 관리하는 kernel 의 thread pool 에는 매우 많은 thread block 이 들어갈 수 있고, 실제로 몇 천 개, 몇 만 개의 thread block을 사용하기도 합니다. 이제 CUDA가 kernel을 실행하기 시작하면, 여러 개의 SM 들이 (보통 수십개, 많으면 수백개) 돌면서, 각각은 자기가 동시에 실행시킬 수 있는 최대 갯수 (보통 32개)만큼만 가져와서 실행합니다.
전체 thread 갯수가 아무리 커도, 1개 SM 이 동시에 실행할 수 있는 thread block은 현실적으로 제한될 수 밖에 없습니다.
감사합니다.
최신 엔비디아 CUDA 아키텍처에서의 결정적 변경 사항
0
10
1
자문자답- 맞는지 틀린지 확인부탁드립니다.
0
11
0
55강 파이썬에만있는 연산자들
0
11
1
55강의 파이썬에서만 있는 연산자들
0
11
1
[문의] 강의 코드 제공여부
0
24
2
코딩살구클럽 가입 문의
0
38
2
코딩 살구 클럽 컴파일 에러
0
22
1
추천 문제
0
22
2
코딩살구클럽 승인
0
31
1
이 강의를 다 들으면 어떤 강의를 들어야 하나요?
0
42
2
선생님 13.3을 써도 큰 차이가 없나요?
0
33
2
코살구 1주차 1940번 문제 조건과 프라이빗 테스트 불일치 문의
0
35
2
메모리 동적할당시 메모리창 빨간 글씨
0
27
2
문제를 고민하는 시간 관련
0
28
2
ch .12 grid 설정 관련 질문 드립니다.
0
87
2
memcpy 시간 고려 시 gpu vs. cpu
0
98
2
common.cpp의 procArg 함수에 대해 질문이 있습니다.
0
147
2
Warp를 동시에 돌린다는 말이 이해가 가지 않습니다.
0
324
1
매크로 함수를 쓴 이유
0
312
1
VS2022 컴파일 에러
0
383
2
global 변수가 cuda memory에서 사용되는 이유
0
378
1
Warp 갯수에 대한 고찰입니다....
0
553
2
15강 Block ID 예제 오류 질문입니다.
0
367
1
컴파일 시의 <typeinfo> 관련 에러
0
592
1