kafka connect 실행 시 질문

Question

kafka topic 생성시에는 localhost :9092의 브로커 정보를 입력해서 붙였는데 kafka connect 실행 시에는 브로커 정보없이 실행해도 조회시에 topic과 connect가 함께 출력됩니다. connect는 타겟 브로커를 어떻게 알고 적용되는 것인가요?

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴이에요. kafka connect는 Kafka와 다른 시스템 간의 데이터 이동을 담당하는 도구입니다. Kafka Connect는 Kafka와 동일한 브로커 정보를 사용하여 실행되지 않고, 다른 설정 파일을 사용하여 실행됩니다. Kafka Connect가 타겟 브로커를 알아내고 적용하는 방법은 두 가지가 있습니다. 첫 번째는 Kafka Connect 실행 시점에 설정 파일을 지정하는 방법이고, 두 번째는 Kafka Connect 실행 중에 REST API를 사용하여 설정을 변경하는 방법입니다. 첫 번째 방법인 설정 파일에는 타겟 브로커 정보가 명시되어 있어야 합니다. 설정 파일을 다음과 같이 작성할 수 있습니다. name=my-connector connector.class=org.apache.kafka.connect.someconnector tasks.max=1 topics=my-topic bootstrap.servers=target-broker:9092 위의 설정 파일에서 bootstrap.servers 속성에 타겟 브로커 정보를 작성해야 합니다. Kafka Connect가 실행될 때 이 설정 파일을 참조하여 타겟 브로커와 연결합니다. 두 번째 방법인 REST API를 사용하여 설정을 변경하는 경우에는 Kafka Connect 실행 후에 REST API를 통해 설정을 업데이트할 수 있습니다. 이때는 API를 사용하여 bootstrap.servers 속성 값을 변경하면 됩니다. 요약하자면, Kafka Connect는 실행 시 브로커 정보를 별도의 설정으로 지정하거나 REST API를 사용하여 설정을 변경할 수 있습니다. 이를 통해 타겟 브로커와의 연결을 설정하고 데이터를 이동시킬 수 있습니다. 더 자세한 내용은 Kafka Connect 공식 문서를 참고하시면 도움이 될 것입니다. 많은 성공을 빕니다!