hello-prrallel.cu 의 병렬처리에 관하여

Question

좋은 강의 고맙습니다. 병렬처리라면 일반적으로 다른 쓰레드에 영향을 주지 않고 수행이 될거라 생각이 됩니다. 예제 코드에서 hello<<<1,8>>>(); 을 이용하여 쓰레드 8개를 병렬로 돌리는데 출력된 값은 hello CUDA 0! hello CUDA 1! hello CUDA 2! ,,, hello CUDA 7! 이 되는 것을 볼 수 있는데 병렬로 처리된다면 출력 되는 숫자가 순차적으로 나올 수 없는 것 아닌가요?

onemoresipofcoffee · Answer

안녕하세요. 출장 관계로, 답장이 조금 늦었습니다. 출력된 예제는, 시스템에 따라서, 다르게 나올 수 있습니다. 8개의 쓰레드가 병렬로 실행될 것이고, 이론 상은 완벽히 병렬로 실행되면, 어떠한 순서로도 출력이 나올 수 있습니다. 즉, 0-1-2-3-4-5-6-7 로 실행 결과가 나오는 것도 가능합니다. 직렬로 실행하면, 어떠한 경우, 어떠한 시스템에서도 0-1-2-3-4-5-6-7 순서로만 출력이 되겠지만, 병렬로 실행되면, 시스템에 따라서, 프로그램에 따라서, 당시 실행 환경에 따라서, 어떠한 순서로 나와도 문제가 없다고 판정합니다. 다음에, 8개의 쓰레드가 모두 완벽히 똑같은 시간에 종료되었다고 해도, print 를 출력하는 부분은 결국 serial 처리를 하게 될 겁니다. OS 아래 부분에서 8개의 print 요구에 대해서, 이것들이 완벽히 동시에 도착했더라도, 이것들 끼리의 우선순위를 부여해서, 1개씩 차례로 처리해야 할 겁니다. 이 부분을 구현하는 입장에서는, 가장 쉬운 우선순위가, 쓰레드 ID 가 될 수도 있을 것이고, 들어오는 순서가 되기도 할 것이고, 다양한 선택이 가능할 겁니다. 시스템에 따라서, 특정 우선 순위를 선택하면, 정확히 동시에 처리가 끝나도, 우선 순위 때문에, 항상 0-1-2-3-4-5-6-7 순서로 나오게 할 수도 있을 겁니다. 정리하면, 완벽한 병렬처리가 되었다면, 8개 쓰레드의 출력 순서가 임의로 나올 수 있고, 그중에 0-1-2-3-4-5-6-7 가 나와도 전혀 이상하지 않습니다. C/C++ 의 직렬 처리에서는 항상 0-1-2-3-4-5-6-7 순서로 나와야만 하지만, 병렬 처리 결과는 어떠한 순서로 나와도 문제가 없고, 8개 정도의 병렬 처리에서는 순서가 어긋나는 경우가 잘 발생하지 않을 겁니다. 나중에 백 만개 이상의 쓰레드를 실행하면, 여러가지 이유로 쓰레드 마다 소요 시간이 다 다르고, 그것도 매번 실행할 때마다 소요 시간이 다르게 나와서, 출력 순서가 매번 전혀 다르게 나올 수도 있기 때문에, 이것을 신경써서 코딩해야 하는 것이 병렬 처리의 중요한 점 중의 하나가 됩니다. 강의를 계속 진행해 나가면, 병렬 처리의 더 복잡한 결과들이 나오게 됩니다. 감사합니다.