카프카 설정이 맞는건지 궁금합니다.

안녕하세요. 우선 로컬에서 카프카 돌려서 코드상의 문제는 없었던 것 확인했구요. 카탈로그 서비스 돌리기 시작하면서 이상한 부분이 감지되었는데 강사님은 동일한 이슈가 없으셨는지 궁금합니다.

엄밀하게는 카프카 이슈지만 카탈로그 서비스를 구동하면서 발견하게 된 문제라 이 쪽에 적습니다.

 

우선 이슈 사항은 카탈로그 서비스를 동작하면 이상한 에러가 계속 발생하는 것이고 이미지 내에서 발생하는 로그는 다음과 같습니다.

1. 카프카 컨테이너 생성 결과

auto.create.topics.enable = true
auto.leader.rebalance.enable = true
background.threads = 10
broker.heartbeat.interval.ms = 2000
broker.id = -1
broker.id.generation.enable = true
...
creating topics: example-order-topic:1:1
Created topic example-order-topic.

말씀 주신 이미지에서 `KAFKA_CREATE_TOPICS`에서 예제에서 사용하는 토픽을 미리 만들고자 "example-order-topic:1:1" 값을 추가함 (원래는 만들 필요도 없이 auto.create.topics.enable = true로 설정이 되어있으면 자동 생성되는 것으로 알고 있으나, 생성되지 않는 듯 하여 추가했고 로그로 확인)

2. 카탈로그 서비스 컨테이너 실행 후 카프카 컨테이너 로그

 

[2022-02-02 14:16:37,395] INFO [Admin Manager on Broker 1001]: Error processing create topic request CreatableTopic(name='example-order-topic', numPartitions=1, replicationFactor=1, assignments=[], configs=[]) (kafka.server.ZkAdminManager)

 

위와 같은 로그가 반복적으로 발생

 

3. 카탈로그 서비스 컨테이너 로그

 

2022-02-02 14:18:09.506  WARN 1 --- [ntainer#0-0-C-1] org.apache.kafka.clients.NetworkClient   : [Consumer clientId=consumer-consumerGroupId-1, groupId=consumerGroupId] Error while fetching metadata with correlation id 958 : {example-order-topic=INVALID_REPLICATION_FACTOR}

거의 카프카 로그 생성 주기와 비슷하게 생성되는 이슈로 보임.

 

참고로 컨테이너 내에서 `/opt/kafka/bin`에 있는 카프카 명령어로 실행을 하려고 할 경우, (토픽 생성, 목록 조회 등) 로컬에서 실행했을 때와 다르게 제대로 동작하지 않는 것 같아서 해당 설정이 맞는지 약간 걱정이 되네요.