inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Kafka & Spark 활용한 Realtime Datalake

UI For Apache Kafka 설치하기

ui for apache kafka 브라우저 접속했을때

84

작성자 없음

작성한 질문수 0

0

브로커 탭에 브로커 아이디가 1번에 체크표시가 되어있는데 상관없나요? ppt에는 2번으로 설정하신거같은데 그대로 했는데 1번으로 지정되었습니다.

kafka apache-spark pyspark data-lake

답변 2

0

김현진

안녕하세요 syjo 님!

결론적으로 말씀드리면 상관없습니다.

마지막 즈음에 보면 Kafka 가용성 테스트할 때 Controller 노드 라는 개념에 대해서 배우실 겁니다. (아래 챕터에서 배웁니다)

image.png

 

Controller 노드가 브로커 3대 중 한 대에 v 체크로 나타나게 되요. 서버를 올릴 때마다 결과는 다를 수 있기 때문에 지금은 신경쓰지 않으셔도 됩니다.

미리 조금 설명드리자면 Controller 노드는 브로커 노드 중의 리더 브로커라고 볼 수 있어요. 이 Controller 노드는 리더 파티션을 선정하는 역할을 하는데 가용성 테스트하면서 개념을 배워갈 예정입니다.

 

지금 배우시는 부분은 Controller 노드의 역할과는 큰 상관은 없어서 일단 위 내용 참고하셔서 쭉 들으시면 될 것 같습니다 ^-^

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. syjo님!

Apache Kafka를 설정하시면서 브로커 ID에 대한 의문이 있으신 것 같습니다. 브로커 ID는 Kafka 클러스터 내에서 각 브로커를 식별하기 위한 고유 번호입니다. 일반적으로 Kafka 설정 시 브로커 ID를 수동으로 지정할 수도 있고, 자동으로 할당되기도 합니다.

브로커 ID가 설정한 것과 다르게 나타나는 이유는 다음과 같습니다:

  1. 자동 할당: server.properties 파일이나 관련 설정에서 브로커 ID를 지정하지 않은 경우, Kafka는 브로커 ID를 자동으로 할당할 수 있습니다. 이 경우 일반적으로 0부터 시작하여 클러스터의 다른 브로커 ID와 충돌하지 않도록 자동 증가합니다.

  2. 설정 파일 확인: 설정 파일(server.properties)에서 broker.id 값을 확인하여 의도한대로 설정되었는지 확인하세요. 만약 명시적으로 설정되지 않았다면, 원하는 ID로 지정해볼 수 있습니다.

  3. PPT 자료와의 차이: 강의 자료(PPT)가 특정 환경을 기준으로 작성되었을 수 있으므로, 환경에 따라 ID가 다르게 나타날 수 있습니다. 그 자체로 문제가 되지는 않습니다.

따라서, 브로커 ID가 1번으로 설정되어 있어도 클러스터가 정상적으로 작동하는 데는 지장이 없습니다. ID는 식별 목적으로만 사용되기 때문에, 클러스터의 각 브로커가 고유한 ID를 가지고 있는지 확인하는 것이 중요합니다.

혹시라도 실제 클러스터 구성이나 브로커 ID 변경 방법에 대해 더 알고 싶으시면 아래 유사 질문을 참고하세요.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

파이참 25.3.4 버전에서 한폴더에 두개 프로젝트 생성하는 방법은?

0

26

2

consumer가 모든 파티션을 읽지 않는 이슈가 있습니다

0

79

3

람다 아키텍처에서 speed layer 관련 질문드립니다

0

54

1

아키텍처 관련 질문

0

67

1

code deploy 배포에러

0

72

4

/homework/ch10_3/dataframe_cache.py 과제 질문

0

69

2

ch4_3 apache zookeeper 설치파일 관련 질문

0

83

3

질문있습니다 섹션13. Spark streaming 부분

0

65

2

ot 자료

0

65

2

git action - code deploy단계

0

94

2

IDE - Pycharm / VSCode

0

87

1

UI For Apache Kafka 설치하기

0

127

2

kafka broker prompt 변경 확인

0

76

2

디스코드 만료

0

68

2

Zookeeper 설치 오류

1

81

3

github 레파지토리 생성 및 연결 관련 질문드립니다!

0

55

2

git action실행 안됨

0

162

1

터미널에서 NAT 인스턴스로 직접 로그인 안됨

0

65

1

AWS EC2 생성하기 2분55초 부분

0

57

2

git action에서 install_codedeploy-agent.yml

0

54

2

consumer 실행 오류 질문: connect ip 관련

0

95

2

Spark Programs 구조에서 막혔습니다.

0

60

2

kafka-broker01 ping 반응 없습니다.

0

75

3

github actions 오류 문의 드립니다.

0

74

2