GCSSinkconnector
64
投稿した質問数 30
안녕하세요,
강의를 듣기 전에 몇 가지 여쭙고자 합니다.
self-host로 kafka-connect를 운영중이라고 할때, 커넥터(Connectors)는 직접 개발해야 하는지 궁금합니다. 특히 GCS로 데이터를 싱크하는 작업을 계획 중인데, Confluent Hub에서 제공하는 커넥터는 self-hosted 환경에 적용하기 어려운 라이선스 제약이 있는 것 같습니다.
이러한 경우 모범 사례(best practice)는 무엇인지, 아니면 직접 커넥터를 구현하는 방법 외에는 선택지가 없는지 조언 부탁드립니다.
감사합니다.
回答 1
0
안녕하십니까,
확인해보니, GCS Sink Connector는 말씀하신대로 라이센스가 필요하군요.
라이센스가 부담되신다면, 직접 구현하셔야 할 것 같습니다. 다만 connector를 직접 구현하시는 것 보다는 Java로 Consumer 기반으로 Object Storage에 write하는 application을 구현하시는게 더 좋을 것 같습니다.
자바에 조예가 깊으시다면 GCS Sink Connector를 역 컴파일해서 소스코드를 분석하신 다음에 구현해보시는 것도 좋으실 것 같습니다. 아무래도 file write라 다른 connector 보다는 구현이 상대적으로 쉬울 것 같습니다.
감사합니다.
계속 csv파일을 폴더로 인식하는 중입니다.
0
65
2
cdc failover
0
69
2
avro plugin에 안보이는거 같아요
0
68
2
zookeeper가 실행이 안되요
0
73
3
Debezium CDC Source Connector 이벤트 메시지
0
82
2
재 질문! 다른 connector가 동일 토픽 사용
0
63
2
메시지 발행이 안 됩니다.
0
75
2
디비지움 오프셋 리셋
0
94
2
mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.
0
69
3
io.debezium.connector.mysql.MySqlConnector 질문
0
67
2
Debezium 이벤트 메시지 발행 시 성공여부
0
80
2
connect 구동 오류
0
97
3
CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.
0
121
2
debezium source connector에서 `poll.interval.ms` 파라미터
0
142
2
자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.
0
212
1
table.name.format에 관하여..
0
196
2
binlog와 offset 관련 추가 질문드립니다
0
149
1
Debezium cdc source for MSSQL-Server [등록오류]
0
190
2
http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.
0
187
2
안녕하세요 sink connector 생성 config 관련 질문입니다.
0
159
2
수강환경 VirtualBox -> Docker
0
223
2
일반적인 예시들이 궁금해서 질문 남깁니다.
1
145
2
debezium connector schema 찾지 못하는 오류
0
426
2
offset 커밋 관련 질문
0
159
1