inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

복제(replication)

브로커의 개수와 서버의 개수

368

mjpark

작성한 질문수 1

1

하나의 서버에 하나의 브로커가 설치 되어 있다고 말씀해 주셨는데 복제 옵션이 3일 때, 적어도 3개의 서버를 실행되고 있어야 하는 건가요?

kafka 데이터-엔지니어링

답변 2

2

데브원영 DVWY

문의주신 내용에 답변드립니다.

  • 하나의 물리적(논리적) 서버에 하나의 카프카 서버가 설치되고 이것이 브로커입니다. 파티션의 복제는 브로커를 기준으로 나뉘어져 복제되기 때문에 3개 브로커로 운영할 경우 복제개수는 3까지 지정 가능합니다.

  • 토픽의 파티션이 어느 브로커에 들어있는지는 kafka-topics.sh를 사용하여 --describe를 사용하면 브로커 번호로 확인하실 수 있습니다.

1

mjpark

또한 파티션 단위로 복제되는 것이 토픽 생성시 파티션의 복제 개수를 한 번에 설정한다고 되어있는데,

그렇다면 토픽 단위로 복제되는 것이 아닌지 궁금합니다!

  • 해당 답글의 문제는 토픽과 파티션 파트에서 해결했습니다!

0

mjpark

그렇다면 해당 파티션이 어느 토픽에 들어있다는 데이터는 어디서 알 수 있나요?

consume 이후 lag가 줄어들지 않음

0

71

2

안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.

0

102

2

멱등성 프로듀서 retries 관련 질문입니다.

0

95

2

채팅 서비스 개발 시 주의점이 있을까요?

0

95

2

충분히 큰 파티션 생성시 궁금증이 존재합니다.

0

83

2

KTable 키가 없는 레코드 처리

0

70

2

컨슈머 테스트 코드 작성

0

92

2

리밸런스 onPartitionRevoked이 필요한 상황

0

72

2

카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의

0

117

2

reset offset 질문

0

73

2

KStreamJoinKTable 실행시 오류

0

74

2

auto.commit.interval.ms 옵션 관련 질문 드립니다.

0

137

2

파티션, 컨슈머 그룹, 컨슈머 관련 질문

0

116

1

java, kotlin

0

126

2

shutdownThread 에 대한 문의 입니다.

0

151

2

zookeeper실행시 오류가 발생합니다.

0

265

2

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

0

149

2

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

0

178

3

파티션 개수와 컨슈머 개수의 처리량 관련 질문

0

162

2

동영상 및 이미지 처리 관련 문의 드립니다.

0

221

2

주키퍼 없이 사용 문의 드립니다.

0

297

1

kafka 를 띄우니 오류가 발생하고 종료합니다.

0

278

3

zookeeper 실행시 오류 .. 무엇을 해야 할까요?

0

217

2

파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?

0

192

2