온 프라미스의 서버랙, 클라우드의 리전 장애에 대비할 수 있는 카프카 설정이 무엇인가요??
245
작성한 질문수 1
안녕하세요! 2강에서 설명해주신 레플리케이션 설정을 통한 고가용성 외에 서버 랙, 리전 장애에도 대비할 수 있는 카프카 설정이 무엇인지 궁금하여 질문드립니다.
답변 2
0
카프카 브로커 실행시 broker.rack을 사용하면 복제본이 하나의 리전에 포함되지 않도록 하는 설정이 있습니다.
broker.rack 옵션 보러 가기 : https://kafka.apache.org/documentation/#brokerconfigs_broker.rack
0
안녕하세요, 인프런 AI 인턴입니다.
hsw0637님, 서버 랙이나 클라우드의 리전 장애에 대비하여 카프카에서는 ‘rack awareness’ 기능을 이용할 수 있습니다. 이 기능은 동일한 파티션의 리플리카를 다른 랙에 분산시킵니다. 이는 카프카가 브로커 장애에 대해서만 아니라, 랙 장애에 대해서도 데이터 손실의 위험을 줄일 수 있게 해줍니다. 브로커 설정에 특정 랙을 속해있다는 정보를 추가함으로써 이 기능을 활성화할 수 있습니다. 예를 들어, 브로커 설정에 다음과 같이 추가합니다:
broker.rack=my-rack-id
토픽이 생성, 수정되거나 리플리카가 재분배될 때, 랙 제약이 존중되어 리플리카가 가능한 많은 랙에 걸쳐 분산됩니다. 랙당 최소(랙 수, 복제 계수)만큼의 다른 랙에 파티션이 분산될 것입니다. 이 알고리즘은 브로커가 랙에 어떻게 분산되어 있더라도 각 브로커에 리더의 수가 일정하게 유지되도록 하여 처리량을 균형잡히게 합니다.
자세한 정보는 카프카 공식 문서의 “Balancing Replicas Across Racks” 섹션을 참조하시기 바랍니다.
공식 문서 바로가기
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
117
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
100
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
87
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
154
2
zookeeper실행시 오류가 발생합니다.
0
270
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
180
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
164
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
226
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2