consumer 병렬처리를 알고 싶습니다.
233
2 asked
안녕하세요.
해당 수업을 잘듣고 있습니다.
혹시 consumer에 대한 병렬처리방법에 대한 강의가 있을까요?
참고할만한 강의가 있을까요?
감사합니다.
Answer 1
0
안녕하십니까,
Consumer의 병렬처리는 토픽의 파티션 별로 Consumer들을 띄워서 처리합니다. 해당 내용은 강의에 나와 있습니다.
이거 말고 또 다른 방식의 병렬 처리를 의미하시는 거라면 다시 글 부탁드립니다.
감사합니다.
0
하나의 토픽, 하나의 파티션으로 순서보장을 하는 Consumer 처리를 알고싶습니다.
kafka paraller-consumer 처리를 하고 싶은데 마땅한 예제가 나와있지 않아서요.
해당 예제를 찾아보면 보통 multi thread 방식이라 순서보장이 되지않은것 같아 사용을 못할것 같습니다.
최종적으로 순서보장을 하는 consumer 병렬처리 방법을 알고 싶어 질문드렸습니다.
0
안녕하십니까,
질문이 하나의 파티션에 Normal Consumer를 사용하지 않고, Parallel Consumer를 하나의 파티션에 적용하는 것을 말씀하시는 걸로 판단하고 답변 드리겠습니다.
Parallel Consumer는 Normal Consumer와 달리 단일 파티션에 대해서 여러개의 Thread 들이 한꺼번에 메시지를 읽어들이므로 속도는 빠르지만, 메시지가 파티션에 저장되는 순서대로 읽어들이는 보장을 할 수가 없습니다. 다만 Thread 내에서 동일 key값에 대해서는 순서대로 읽어 들일 수는 있습니다. 하지만 완벽한 순서 보장이 필요하다면 Parallel Consumer는 적용할 수 없습니다.
Parallel Consumer에 대한 자세한 정보는 아래 URL 참조 부탁드립니다.
https://www.confluent.io/blog/introducing-confluent-parallel-message-processing-client/
virtual box 설치 문제
0
59
2
카프카 서버 구축 관련 문의
0
62
2
카프카 토픽 Key 타입 변경에 관한 질문
0
65
2
Zookeeper에서 KRaft
0
75
1
카프카 학습과 관련하여 질문 드립니다
0
95
2
파티션 증가시 비용 증가 고려
0
66
2
Kafka 초기 Partition 개수 설정 관련 질문
0
80
2
VM 과 도커의 차이
0
135
2
vm 어댑터설정 문의
0
73
2
Cooperative Sticky Rebalancing 질문
0
55
2
consumer 설정 질문
0
65
2
consumer.poll 질문입니다.
1
66
2
mainThread.join() 관련 질문
0
54
2
문의
0
149
2
멀티 브로커 설정 중 포트 충돌 발생
0
118
2
Consumer Group 강의 Lag 질문있습니다!
0
104
2
강의 설명 및 코드 정리
0
171
2
실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..
0
148
1
java.nio.BufferUnderflowException 에러 발생합니다..
0
153
3
KafkaTimeoutError:
0
155
2
acks 1 이면 비동기가 아니지 않나요?!
0
182
2
Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문
0
105
2
자문자답: 데이터 누락된다고 하시는 분 참고하세요.
0
214
2
자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092
0
196
2