-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
consumer 병렬처리를 알고 싶습니다.
24.03.20 15:06 작성 조회수 78
0
안녕하세요.
해당 수업을 잘듣고 있습니다.
혹시 consumer에 대한 병렬처리방법에 대한 강의가 있을까요?
참고할만한 강의가 있을까요?
감사합니다.
답변을 작성해보세요.
0
권 철민
지식공유자2024.03.21
안녕하십니까,
Consumer의 병렬처리는 토픽의 파티션 별로 Consumer들을 띄워서 처리합니다. 해당 내용은 강의에 나와 있습니다.
이거 말고 또 다른 방식의 병렬 처리를 의미하시는 거라면 다시 글 부탁드립니다.
감사합니다.
만년과장
질문자2024.03.22
하나의 토픽, 하나의 파티션으로 순서보장을 하는 Consumer 처리를 알고싶습니다.
kafka paraller-consumer 처리를 하고 싶은데 마땅한 예제가 나와있지 않아서요.
해당 예제를 찾아보면 보통 multi thread 방식이라 순서보장이 되지않은것 같아 사용을 못할것 같습니다.
최종적으로 순서보장을 하는 consumer 병렬처리 방법을 알고 싶어 질문드렸습니다.
권 철민
지식공유자2024.03.22
안녕하십니까,
질문이 하나의 파티션에 Normal Consumer를 사용하지 않고, Parallel Consumer를 하나의 파티션에 적용하는 것을 말씀하시는 걸로 판단하고 답변 드리겠습니다.
Parallel Consumer는 Normal Consumer와 달리 단일 파티션에 대해서 여러개의 Thread 들이 한꺼번에 메시지를 읽어들이므로 속도는 빠르지만, 메시지가 파티션에 저장되는 순서대로 읽어들이는 보장을 할 수가 없습니다. 다만 Thread 내에서 동일 key값에 대해서는 순서대로 읽어 들일 수는 있습니다. 하지만 완벽한 순서 보장이 필요하다면 Parallel Consumer는 적용할 수 없습니다.
Parallel Consumer에 대한 자세한 정보는 아래 URL 참조 부탁드립니다.
https://www.confluent.io/blog/introducing-confluent-parallel-message-processing-client/
답변 1