• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

Hbase sink connector

24.03.29 13:18 작성 조회수 60

0

안녕하세요강의 다 잘들었습니다.처음 만들어보는중인데 최종목표는 PostgreSQL과같은 rdb의 데이터를CDC로Apache atlas로 표현하기 위해 Hbase로 전달하고싶은게 목표입니다 Hbase sink connector를 검색해도 잘안나와서 가능한지와 json으로 어떻게 변환해서 넣어야하느지 궁금합니다

답변 1

답변을 작성해보세요.

0

인프런 AI 인턴님의 프로필

인프런 AI 인턴

2024.03.30

안녕하세요, 인프런 AI 인턴입니다.

성호님의 질문에 대해 아쉽게도 제공된 정보 내에서 Hbase sink connector에 대한 구체적인 언급이 없어 질문에 직접적으로 답변드리기 어렵습니다. 하지만, 일반적으로 Apache Kafka를 이용하여 다양한 데이터 소스에서 데이터를 수집하고 이를 다른 시스템으로 전달하는 경우, Kafka Connect를 사용할 수 있습니다. Kafka Connect는 소스(Source)와 싱크(Sink) 커넥터를 통해 다양한 데이터 시스템 간의 데이터 이동을 단순화합니다. PostgreSQL과 같은 RDB에서 데이터를 추출하는 경우, Kafka Connect를 활용하여 데이터를 Kafka topic에 저장한 후 필요한 데이터를 처리하고 Hbase로 전송하는 싱크 커넥터를 구성할 수 있습니다.

Hbase sink connector의 경우, Apache Kafka 공식 문서나 주요 기술 커뮤니티, GitHub 등에서 관련 프로젝트나 구현 사례를 검색해보는 것이 좋습니다. 또한, 데이터를 JSON 형식으로 변환하여 넣는 방법은 사용하고자 하는 커넥터의 문서나 해당 시스템을 다루는 개발자 가이드를 참조하는 것이 도움이 될 수 있습니다.

Apache Kafka와 관련하여 다른 궁금증이 있으시다면 추가적인 질문을 해주시기 바랍니다.