-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
여러 개의 파티션을 가지는 메시지 전송 실습 / 질문
24.04.13 13:24 작성 24.04.13 13:29 수정 조회수 74
0
안녕하세요 선생님
실습에서 multipart-topic으로 key 없이 전송을 했는데 모조리 partition2로 가는데 어떤 설정을 살펴보면 될까요?
kafka는 confluent 7.6으로 실습하고 있습니다.
key값을 준 경우에는 강의 실습과 동일하게 진행되었습니다.
답변을 작성해보세요.
0
dohyun_lim
질문자2024.04.14
https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html#partitioner-class
요고를 참고해서 추가 설정했더니 sticky하게 동작하지 않게 되었네요
0
권 철민
지식공유자2024.04.14
안녕하십니까,
지금 Producer 만드신 소스 코드가 무엇인지는 모르겠지만, key값이 없는 메시지가 특정 partition으로만 전송된다면 Producer에서 Custom Partitioning을 구현해서 특정 partition으로만 전송하게 되어 있는 것으로 보입니다.
producer 소스코드를 먼저 확인해 보시고, 섹션 3. Java 기반 Producer 구현 실습 및 Producer 내부 메커니즘 이해 - 02
의 맨 마지막 강의 영상들이 Custom Partitioner 구현하기 이오니 강의 참조 해보셨으면 합니다.
감사합니다.
dohyun_lim
질문자2024.04.14
제가 강의 그대로 따라하고 있는 중이라서 (버전은 다르지만) custom partitioning을 하지 않은 것 같습니다. (카프카를 첨 배우는 중입니다)
구글링 해보니 기본은 partitioner가 해쉬를 통해 분배한다고 하는데
제가 살펴볼 다른 설정 같은 것은 없을까요?
권 철민
지식공유자2024.04.14
버전 차이인지 확실하지는 않지만. 강의 실습 영상대로 결과가 나오려면 실습 버전을 맞춰 주셔야 합니다. 실습 버전대로 다시 설치하시고 결과 업데이트 부탁드립니다
답변 2