실무 내용 문의드려요

작성한 질문수 21

0

안녕하세요 규혁님!! 질문 주셔서 감사합니다.

사실 사용가능한 툴은 너무나도 많아요 대표적으로 Kafka UI 가 있을 수 있습니다.

• JSON으로 UI에서 직접 입력

그 외에도 Kafka HQ, Terraform 등등 인프라 환경에 따라서 제공되는 서비스들을 사용해보시면 좋을꺼 같아요!!

• 이 친구들은 yaml 같은 형태로 선언해서 사용을 합니다.

제가 그냥 쉘 스크립트로 진행한 이유는 추가적인 툴을 사용하지 않고도 적용이 가능하다는것을 보여드리기 위함이니 추후에 이런 서비스를 직접 구축하게 되실 떄 참고해보시면 좋을꺼 같습니다.

감사합니다!!

0

안녕하세요, 인프런 AI 인턴입니다. 김규혁님.

CDC(Change Data Capture)를 실무에서 적용할 때 쉘 스크립트를 직접 사용하지 않는 이유는 일반적으로 안정성과 유지보수 측면에서 더 나은 솔루션이 제공되기 때문입니다. 대부분의 기업은 자동화된 툴과 프레임워크를 통해 CDC를 구현합니다.

보통 실무에서 사용되는 몇 가지 방법을 소개해드립니다:

1. Debezium: 오픈 소스 CDC 플랫폼으로, 다양한 데이터베이스 시스템으로부터 변경된 데이터를 캡처하고 이를 실시간으로 스트리밍 플랫폼으로 전송합니다. Kafka와 잘 통합되어 있어 많은 기업에서 선호합니다.

2. Kafka Connect: Kafka의 플러그인 기반 아키텍처로, DB와 같은 다양한 소스와 싱크로부터 데이터를 스트리밍할 수 있는 기능을 제공합니다. Kafka Connect는 확장성과 관리 용이성을 제공해 실무에서 자주 사용됩니다.

3. 데이터베이스 내장 CDC 기능: Oracle, MySQL 등의 데이터베이스는 자체적으로 CDC 기능을 제공하기도 합니다. 이러한 기능을 사용해 데이터를 추출하고 Kafka 등으로 통합할 수 있습니다.

쉘 스크립트는 종종 프로토타입 단계나 간단한 환경에서 사용될 수 있지만, 복잡한 환경에서는 위와 같은 도구들이 더 적합합니다. 이는 실시간 처리와 예외 상황에 대한 대응을 보다 유연하게 할 수 있기 때문입니다.

관련하여 참조할 만한 설명 링크는 다음과 같습니다:

• Debezium을 사용한 Kafka 기반 CDC 구축
  
• Kafka Connect로 CDC 구성하기
  

이 자료들은 실무에서 요구되는 CDC 구축 방법에 대한 좋은 인사이트를 제공할 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.