kafka CRUD 관련 문의 드립니다.

Question

안녕하세요. 정성을 다해 만들어주신 강의 잘 듣고 있습니다. kafka 관련 CRUD 문의 드립니다. DB CRUD관련 이벤트를 모두 수집하여 처리하고자 합니다. kafka 및 kafka debezium 플러그인을 활용하여 아래와 같은 DB CRUD 관련 Topic 정보를 수집 하였습니다. ["payload": { "before": { "id": 22, "name": "chp" }, ...중략 ] 이러한 CRUD Topic정보를 DB 에 적용하려면 sinkconnector 를 활용하는 방법외에 어떠한 다른 방법이 있을까요? 해당 json Topic을 java 에서 파싱하여 응용프로그램 레벨에서 DB를 처리해야 하는건지 다른 처리 패턴이나 솔루션 혹은 플러그인이 있을까요? 해외사이트 구글링을 해봐도 debezium을 통해 CRUD Topic 정보를 수집하는 것 까지만 나오고 이후 처리에 대해서는 어떠한 내용도 없어서 문의드리게 되었습니다.

Dowon Lee · Answer

안녕하세요, 이도원입니다. Kafka Source Connect에서 debezium을 이용하여 처리하는 것도 가능하고, Real time 데이터의 경우에는 Kafka Stream이나 KSQL(KSQLDB)를 사용하실 수도 있습니다. KSQL은 Stream 처리가 가능한 SQL 엔진으로써, SQL 문법으로 Application을 작성할 수 있고, Kafka Stream은 Java, Scala를 이용하여 Application을 개발할 수 있도록 지원하는 라이브러리이빈다. Kafka Stream쪽이 보다 개발자 위주의 작업이라고 보시면 좋을 것 같습니다. 예전에 GPS 데이터와 같이 실시간으로 많은 값을 Kafka, DB로 작업 처리할 때, KSQL로 처리한 적이 있었는데, 스트리밍 처리가 되기 때문에, 대용량 데이터의 경우에는 도움이 되었던 기억이 납니다. https://www.confluent.io/product/ksqldb/ 감사합니다.