인프런 커뮤니티 질문&답변
작성한 질문수
consumer 병렬처리를 알고 싶습니다.
작성
·
144
답변 1
0
권 철민
지식공유자
안녕하십니까,
Consumer의 병렬처리는 토픽의 파티션 별로 Consumer들을 띄워서 처리합니다. 해당 내용은 강의에 나와 있습니다.
이거 말고 또 다른 방식의 병렬 처리를 의미하시는 거라면 다시 글 부탁드립니다.
감사합니다.
권 철민
지식공유자
안녕하십니까,
질문이 하나의 파티션에 Normal Consumer를 사용하지 않고, Parallel Consumer를 하나의 파티션에 적용하는 것을 말씀하시는 걸로 판단하고 답변 드리겠습니다.
Parallel Consumer는 Normal Consumer와 달리 단일 파티션에 대해서 여러개의 Thread 들이 한꺼번에 메시지를 읽어들이므로 속도는 빠르지만, 메시지가 파티션에 저장되는 순서대로 읽어들이는 보장을 할 수가 없습니다. 다만 Thread 내에서 동일 key값에 대해서는 순서대로 읽어 들일 수는 있습니다. 하지만 완벽한 순서 보장이 필요하다면 Parallel Consumer는 적용할 수 없습니다.
Parallel Consumer에 대한 자세한 정보는 아래 URL 참조 부탁드립니다.
https://www.confluent.io/blog/introducing-confluent-parallel-message-processing-client/
하나의 토픽, 하나의 파티션으로 순서보장을 하는 Consumer 처리를 알고싶습니다.
kafka paraller-consumer 처리를 하고 싶은데 마땅한 예제가 나와있지 않아서요.
해당 예제를 찾아보면 보통 multi thread 방식이라 순서보장이 되지않은것 같아 사용을 못할것 같습니다.
최종적으로 순서보장을 하는 consumer 병렬처리 방법을 알고 싶어 질문드렸습니다.