kafka-console-consumer.sh 출력 순서 관련 질문
안녕하세요 강의 잘 듣고 있습니다.
강의
[섹션 5 카프카 프로듀서 애플리케이션 개발 > 메시지 키를 가진 프로듀서 애플리케이션]
에서의 질문 드립니다..
질문 1.
강의를 따라가며 실습을 그대로 진행해보고 있는데..
아래와 같이 kafka-console-consumer 명령어에 --from-beginning 옵션을 주고 실행했을 때..
보낸 순서대로 출력이 이루어지지 않는것으로 보여서 이유가 무엇인지 궁금합니다..
질문 2.
애플리케이션에서 key1-value1 을 먼저 send 하고
key2-value2 를 send 하는 순서로 실행을하면..
kafka-console-consumer 명령어로 실시간으로 출력되는 것을 보았을 때..
key2 가 먼저 출력되고 key1 이 출력됩니다.. 이 경우 무엇이 잘못 된건지 궁금합니다.
실습환경
Kafka 2.5.0
코드는 3.4.1 kafka-producer 의 ProducerWithKeyValue 를 key value 값만 변경하였습니다.
감사합니다.
답변 1
1
질문1) --from-beginning 옵션은 각 파티션의 레코드를 처음부터 읽는 다는 것이지, 프로듀서가 넣은 순서대로 읽는 다는 뜻이 아닙니다. 그러므로 결과적으로 파티션 별 순서를 보시는 것이 정확합니다.
질문2) 코드를 올려주셔야 정확한 상황을 알 수 있습니다만, [key1-value1]과 [key2-value2]를 프로듀서 클라이언트 코드로 전송했을 경우 flush가 일어나면서 파티션에 동시에 전송될 수 있습니다. 이 경우 컨슈머는 실제로 전송된 순서와 무관하게 [key2-value2]가 출력될 가능성이 있습니다.
consume 이후 lag가 줄어들지 않음
0
74
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
114
2
멱등성 프로듀서 retries 관련 질문입니다.
0
97
2
채팅 서비스 개발 시 주의점이 있을까요?
0
98
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
86
2
KTable 키가 없는 레코드 처리
0
72
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
268
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
163
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
225
2
주키퍼 없이 사용 문의 드립니다.
0
302
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2