2024-01-30T06:18:52.612Z

0

네 안녕하세요,

source connector에서 SMT를 통해 pk 값을 topic key로 올렸는데요,

sink connector 입장에서 topic의 value(payload)만으로도 조회하여 key 값을 획득할 수 있을 것 같은데 왜 source에서 토픽에 보낼 때 topic key에 pk 값을 올려야 하는 지가 궁금하다는 질문이었습니다.

sink connector config에도 pk 칼럼이 무엇인지 명시가 되어있으니 value에서 조회하면 되는 것이 아닌지 왜 SMT를 적용하여 key로 올려주는 전처리를 해줘야하는지가 궁금합니다.

0

sink connector 입장에서 topic의 value(payload)만으로도 조회하여 key 값을 획득할 수 있을 것 같은데 왜 source에서 토픽에 보낼 때 topic key에 pk 값을 올려야 하는 지가 궁금하다는 질문이었습니다.

=> Sink Connector는 Source Connector의 환경을 볼 수가 없습니다. 서로 분리되어 관리 됩니다. 그리고 source에서 토픽에 보낼 때 사용되는 topic key는 pk값을 사용하지 않아도 됩니다. 하지만 카프카 토픽의 key로 pk를 사용하면 효과적으로 hashing이 되므로 유용합니다. 또한 sink connector의 pk.mode를 record_key로 설정하면 sink 입력할 때도 명확하게 적용될 수 있어서 좋습니다. 일반적으로 테이블의 pk를 카프카 토픽의 key로 사용합니다.

그리고 pk.fields는 명확성을 위해서 있다고 보시면 될 것 같습니다. 함축적으로 record_key 값이 pk 값으로 설정되는 것 보다 pk.fields로 명확하게 표현하는 게 설정상 맞다고 생각합니다.