inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!

버로우

컨슈머 랙 모니터링 아키텍처 관련 질문

300

haemin.jeong

작성한 질문수 1

0

안녕하세요. 좋은 강의 잘 보고 있습니다. 컨슈머 랙 모니터링 아키텍처 관련 질문이 있습니다.

카프카 버로우, 텔레그래프 application에 대해서 각각의 노드에서 구성하는 것이 일반적인지 아니면 카프카 버로우, 텔레그래프를 하나의 노드에서 동작시켜도 무방한 건지에 대한 부분이 궁금합니다.

kafka 데이터-엔지니어링

답변 2

0

데브원영 DVWY

안녕하세요

컨슈머 랙 모니터링 아키텍처는 일반적인 로깅/모니터링 룰을 따릅니다. 그렇기 때문에 운영 중요도에 따라서 다르게 운영하는데요.

개발환경이라면 한 노드(물리장비)에 넣고 운영하는 경우도 많습니다.

상용환경이라면 아무래도 모니터링 이슈가 서비스 운영에 영향을 미칠 가능성이 있기 때문에 분리하는 것이 좋습니다

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴이에요. 컨슈머 랙 모니터링 아키텍처에 관한 질문이시군요.

카프카 버로우와 텔레그래프는 모니터링 도구로써 각각의 역할을 수행하고 있습니다. 일반적으로는 카프카 버로우가 카프카의 상태를 모니터링하고, 텔레그래프가 수집된 데이터를 시각화하고 경고를 보내는 역할을 담당합니다.

따라서, 카프카 버로우와 텔레그래프를 각각의 노드에서 구성하는 것이 일반적입니다. 카프카 버로우는 카프카 클러스터의 상태를 지속적으로 모니터링하기 위해 여러 개의 노드에 분산 설치하는 것이 좋습니다. 마찬가지로 텔레그래프도 여러 개의 노드에서 동작시키는 것이 좋습니다. 이렇게 구성하면 신뢰성과 확장성을 더욱 증가시킬 수 있습니다.

따라서, 일반적으로는 각각의 도구를 다른 노드에서 구성하는 것이 일반적입니다. 하지만, 환경 상황에 따라 모두 하나의 노드에서 동작시킬 수도 있습니다. 하지만 이 경우에는 분산성과 확장성에 제약이 생길 수 있으니, 가능하면 각각의 노드에서 구성하는 것이 좋습니다.

더 자세한 내용은 해당 도구들의 공식 문서나 커뮤니티를 참고하시면 좋을 것 같습니다. 어려운 내용이나 추가로 궁금하신 점이 있으면 언제든지 물어보세요. 즐거운 학습되시기 바랍니다!

consume 이후 lag가 줄어들지 않음

0

74

2

안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.

0

114

2

멱등성 프로듀서 retries 관련 질문입니다.

0

97

2

채팅 서비스 개발 시 주의점이 있을까요?

0

98

2

충분히 큰 파티션 생성시 궁금증이 존재합니다.

0

86

2

KTable 키가 없는 레코드 처리

0

72

2

컨슈머 테스트 코드 작성

0

94

2

리밸런스 onPartitionRevoked이 필요한 상황

0

74

2

카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의

0

119

2

reset offset 질문

0

77

2

KStreamJoinKTable 실행시 오류

0

78

2

auto.commit.interval.ms 옵션 관련 질문 드립니다.

0

141

2

파티션, 컨슈머 그룹, 컨슈머 관련 질문

0

117

1

java, kotlin

0

130

2

shutdownThread 에 대한 문의 입니다.

0

154

2

zookeeper실행시 오류가 발생합니다.

0

268

2

커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?

0

153

2

처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요

0

180

3

파티션 개수와 컨슈머 개수의 처리량 관련 질문

0

163

2

동영상 및 이미지 처리 관련 문의 드립니다.

0

225

2

주키퍼 없이 사용 문의 드립니다.

0

302

1

kafka 를 띄우니 오류가 발생하고 종료합니다.

0

280

3

zookeeper 실행시 오류 .. 무엇을 해야 할까요?

0

220

2

파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?

0

192

2