inflearn logo
강의

Khóa học

Chia sẻ kiến thức

[Lập trình ứng dụng Apache Kafka] Từ ý tưởng đến người tiêu dùng, nhà sản xuất, kết nối và truyền phát!

Các cách khác nhau để chạy cụm Kafka

브로커, 토픽, 파티션관계

674

portaldevtechfin2011

3 câu hỏi đã được viết

0

안녕하세요!

조금 애매한 부분이 있어서요!

-

브로커 3대

토픽 2개

파티션 - rf 설정 2

-

로 만약에 설정을 한다면, 각 브로커에 토픽 2개씩 설정이 된거고, 파티션은 2개로 설정했기에 브로커 3개에서 라운드로빈으로 설정이 되는건가요?

이게 .. 어렵네요. 브로커 3대. 딱설정하고.. 토픽이 2개라고한다면 각 브로커마다 토픽이 테이블처럼 있을거고..

이제 파티션을 라운드로빈으로 돌려서 설정을 해야하는데.. 이게맞는거지 ㅠㅠㅠ

 

 

kafka 데이터-엔지니어링 Kafka 데이터 엔지니어링

Câu trả lời 1

1

dvwy

안녕하세요!

브로커3대, 토픽2대, 파티션2개, 레플리케이션팩터2로 설정하시면 다음과 같이 셋팅될 수 있습니다.(브로커 설정, 버전에 따라 상이할 수 있음)

  • A토픽

    • 브로커0 : A토픽(파티션0-리더)

    • 브로커1 : A토픽(파티션0-팔로워), A토픽(파티션1-리더)

    • 브로커2 : A토픽(파티션1-팔로워)

  • B토픽

    • 브로커0 : B토픽(파티션0-팔로워), B토픽(파티션1-리더)

    • 브로커1 : B토픽(파티션1-팔로워)

    • 브로커2 : B토픽(파티션0-리더)

consume 이후 lag가 줄어들지 않음

0

65

2

안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.

0

93

2

멱등성 프로듀서 retries 관련 질문입니다.

0

93

2

채팅 서비스 개발 시 주의점이 있을까요?

0

94

2

충분히 큰 파티션 생성시 궁금증이 존재합니다.

0

81

2

KTable 키가 없는 레코드 처리

0

69

2

컨슈머 테스트 코드 작성

0

90

2

리밸런스 onPartitionRevoked이 필요한 상황

0

72

2

카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의

0

115

2

reset offset 질문

0

72

2

KStreamJoinKTable 실행시 오류

0

74

2

auto.commit.interval.ms 옵션 관련 질문 드립니다.

0

134

2

파티션, 컨슈머 그룹, 컨슈머 관련 질문

0

114

1

java, kotlin

0

126

2

shutdownThread 에 대한 문의 입니다.

0

149

2

zookeeper실행시 오류가 발생합니다.

0

264

2

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

0

149

2

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

0

178

3

파티션 개수와 컨슈머 개수의 처리량 관련 질문

0

160

2

동영상 및 이미지 처리 관련 문의 드립니다.

0

219

2

주키퍼 없이 사용 문의 드립니다.

0

289

1

kafka 를 띄우니 오류가 발생하고 종료합니다.

0

275

3

zookeeper 실행시 오류 .. 무엇을 해야 할까요?

0

214

2

파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?

0

189

2