inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

카프카 완벽 가이드 - 커넥트(Connect) 편

커넥트 기동하기

connect-distributed.properties 설정

286

김태완

작성한 질문수 4

0

궁금한 사항이 있어서 질문 남깁니다.

connect-distributed.properties 설정 관련 내용입니다.

3노드 클러스터로 구성했는데 커넥트 기동하기 강의 편에서

설정하는 부분이 있습니다.

제가 3노드로 구성했는데 # 삭제하고

listeners=HTTP://192.168.20.26:8083,HTTP://192.168.20.27:8083,HTTP://192.168.20.28:8083

이렇게 구성하는게 맞는건지 궁금합니다.

현재 설정은 #으로 주석 처리되어있습니다.

감사합니다.

kafka 데이터-엔지니어링

답변 1

0

권 철민

안녕하십니까,

아쉽게도 저는 multi node cluster 기반에서 Connect Cluster를 구현해보지 못했습니다.

여러번 시도해 봤지만, Multi Node Cluster로 Connect를 구성 가능한지 의구심(?)만 남긴 채 실패 했습니다.

Multi node Connect Cluster 구성 문서에는 group.id만 node별로 동일하게 구성하면 cluster 구성이 가능하다고 되어 있지만, 이외에 cluster 구성에 대해서 자세한 문서가 나와 있지 않습니다.

제 생각엔 Cluster의 public 접속 포인트를 구성하고, connect-distributed.properties의 내부 환경 설정에서 group.id로 동일하게 묶여져야 하는데, 이런 설명이 문서상으로 나와 있지 않습니다. 아래 문서는 group.id 값을 동일하게 가지라는 설정만 있습니다.

https://docs.confluent.io/platform/current/connect/userguide.html

multi node connect cluster와 유사한 효과를 내려면, 여러개의 노드를 개별 connect로 구성하고, HA가 필요하면 HA 전용 S/W로 연결하거나 zookeeper에 등록해서 적용을 해야 할 것 같습니다.

 

감사합니다.

 

계속 csv파일을 폴더로 인식하는 중입니다.

0

69

2

cdc failover

0

70

2

avro plugin에 안보이는거 같아요

0

70

2

zookeeper가 실행이 안되요

0

77

3

Debezium CDC Source Connector 이벤트 메시지

0

86

2

재 질문! 다른 connector가 동일 토픽 사용

0

67

2

메시지 발행이 안 됩니다.

0

77

2

디비지움 오프셋 리셋

0

96

2

mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.

0

71

3

io.debezium.connector.mysql.MySqlConnector 질문

0

68

2

Debezium 이벤트 메시지 발행 시 성공여부

0

82

2

connect 구동 오류

0

98

3

CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.

0

122

2

GCSSinkconnector

0

66

1

debezium source connector에서 `poll.interval.ms` 파라미터

0

145

2

자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.

0

213

1

table.name.format에 관하여..

0

197

2

binlog와 offset 관련 추가 질문드립니다

0

151

1

Debezium cdc source for MSSQL-Server [등록오류]

0

192

2

http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.

0

191

2

안녕하세요 sink connector 생성 config 관련 질문입니다.

0

165

2

수강환경 VirtualBox -> Docker

0

231

2

일반적인 예시들이 궁금해서 질문 남깁니다.

1

148

2

debezium connector schema 찾지 못하는 오류

0

436

2