28-4 shuffle shared - shared memory 강의에서 질문이 있습니다.

안녕하세요.

우선, CUDA 프로그래밍 강의를 수강해 주셔서 감사합니다.

28-4 동영상에서 나왔던 내용은 상당히 디테일하게 속도를 따지는 부분이었습니다.

메모리 억세스 속도만 따진다면, 말씀하신 대로, 쉐어드 메모리에 가져온 후에는,

쉐어드 메모리 상에서 even-odd 를 쓰거나, half-and-half 를 쓰거나,

메모리를 읽어오는 속도에서는 큰 차이가 없을 겁니다.

bank conflict 도 어느 한쪽이 엄청 빨라질 정도로 발생할 것 같지는 않습니다.

다만, 28번 강의의 주제가 "control flow" 로, 메모리 억세스 보다는

GPU core 의 수행 경로를 따지고 있는 상황이라서,

control-flow 레벨에서의 최적화를 고려하고 있습니다.

28-1 동영상의 2808 슬라이드를 보시면, (28-1 동영상에서는 8:05 부분의 앞뒤 정도가 됩니다)

even-odd 방법은 대부분의 경우, 1개의 warp 내에서도 if-part, else-part 가 모두 수행되어야 하고,

half-and-half 방법에서는 1개의 warp 내에서는 대부분 if-part 만, 또는 else-part 만 수행하게 될 것입니다.

warp 1개의 입장에서는 몇 개의 instruction 을 더 수행할 것인가, 말 것인가의 차이가 됩니다.

예제로 사용한 CUDA kernel 들은 단순히 assignment 문장 1,2개를 수행하는 정도라서,

warp 입장에서는 GPU core instruction 2,3개 정도를 더 수행하느냐 정도가 될 것 같습니다.

그래서, 현재 구현 결과에서는 미미한 차이를 보이는 정도가 나왔습니다.

(28-4 동영상의 24번 슬라이드, 7,808 usec 대 7,747 usec )

다만, if-part 와 else-part 가 상당히 heavy 해 진다면?

이야기가 달라질 수도 있습니다.

그래서, 동영상에서도, 혹시 모르니까, 습관적으로 half-and-half 방식으로

알고리즘을 설계/구현 하는 것이 나을 것이라고 했던 것입니다.

종합적으로 보면, 현재의 구현 에서는 미미한 차이를 보이는 게 맞습니다.

다만, heavy 한 알고리즘을 구현한다면, 경우에 따라서 차이가 커질 수도 있기 때문에,

되도록 half-and-half 를 선호하게 된다고 보시면 될 것 같습니다.

감사합니다.