inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

파티션 복제

245

김민우

작성한 질문수 2

0

안녕하세요.

카프카 클러스터 내에 여러 개의 브로커를 실행한 다음 토픽의 파티션을 복제하고 리더 파티션과 팔로워 파티션이 있는 구조를 구성해보고 싶습니다.

 

위와 같은 구조를 직접 구현해보고 싶은데 혹시 참고할 만한 게 있을까요?

감사합니다.

 

kafka 데이터-엔지니어링

답변 2

0

데브원영 DVWY

안녕하세요 김민우님~

카프카 클러스터에서 토픽의 파티션을 복제하기 위해서는 2개 이상의 브로커로 이루어진 카프카 클러스터의 운영이 필요합니다. 이를 위해서는 일반적으로 인스턴스를 각각 실행하고 각 인스턴스 서버에 카프카 브로커 애플리케이션을 실행, 운영하는 방식으로 진행됩니다.

설치 방식에 대한 설명은 제 블로그 글을 참고해주세요

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

김민우님, 아래의 링크에서 검색해본 결과, 카프카에서 토픽의 파티션 복제 및 리더와 팔로워 파티션 구성과 관련된 질문에 대한 답변을 찾을 수 있었습니다. 이 답변은 카프카 클러스터에서 토픽의 파티션을 복제하고 리더와 팔로워 파티션을 구축하는 방법에 대한 이해를 돕기 위해 작성되었습니다.

추가적으로 김민우님께서 참고하실 만한 자료는 카프카 공식 문서에서도 찾아보실 수 있습니다. 정확한 내용은 Apache Kafka 공식 문서의 파티션 설명 부분을 참조하세요.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

consume 이후 lag가 줄어들지 않음

0

75

2

안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.

0

118

2

멱등성 프로듀서 retries 관련 질문입니다.

0

99

2

채팅 서비스 개발 시 주의점이 있을까요?

0

100

2

충분히 큰 파티션 생성시 궁금증이 존재합니다.

0

88

2

KTable 키가 없는 레코드 처리

0

73

2

컨슈머 테스트 코드 작성

0

94

2

리밸런스 onPartitionRevoked이 필요한 상황

0

74

2

카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의

0

120

2

reset offset 질문

0

77

2

KStreamJoinKTable 실행시 오류

0

78

2

auto.commit.interval.ms 옵션 관련 질문 드립니다.

0

142

2

파티션, 컨슈머 그룹, 컨슈머 관련 질문

0

117

1

java, kotlin

0

130

2

shutdownThread 에 대한 문의 입니다.

0

155

2

zookeeper실행시 오류가 발생합니다.

0

271

2

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

0

153

2

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

0

181

3

파티션 개수와 컨슈머 개수의 처리량 관련 질문

0

164

2

동영상 및 이미지 처리 관련 문의 드립니다.

0

226

2

주키퍼 없이 사용 문의 드립니다.

0

303

1

kafka 를 띄우니 오류가 발생하고 종료합니다.

0

281

3

zookeeper 실행시 오류 .. 무엇을 해야 할까요?

0

220

2

파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?

0

192

2