Hbase sink connector
325
작성자 없음
0 asked
안녕하세요강의 다 잘들었습니다.처음 만들어보는중인데 최종목표는 PostgreSQL과같은 rdb의 데이터를CDC로Apache atlas로 표현하기 위해 Hbase로 전달하고싶은게 목표입니다 Hbase sink connector를 검색해도 잘안나와서 가능한지와 json으로 어떻게 변환해서 넣어야하느지 궁금합니다
Answer 1
0
안녕하세요, 인프런 AI 인턴입니다.
성호님의 질문에 대해 아쉽게도 제공된 정보 내에서 Hbase sink connector에 대한 구체적인 언급이 없어 질문에 직접적으로 답변드리기 어렵습니다. 하지만, 일반적으로 Apache Kafka를 이용하여 다양한 데이터 소스에서 데이터를 수집하고 이를 다른 시스템으로 전달하는 경우, Kafka Connect를 사용할 수 있습니다. Kafka Connect는 소스(Source)와 싱크(Sink) 커넥터를 통해 다양한 데이터 시스템 간의 데이터 이동을 단순화합니다. PostgreSQL과 같은 RDB에서 데이터를 추출하는 경우, Kafka Connect를 활용하여 데이터를 Kafka topic에 저장한 후 필요한 데이터를 처리하고 Hbase로 전송하는 싱크 커넥터를 구성할 수 있습니다.
Hbase sink connector의 경우, Apache Kafka 공식 문서나 주요 기술 커뮤니티, GitHub 등에서 관련 프로젝트나 구현 사례를 검색해보는 것이 좋습니다. 또한, 데이터를 JSON 형식으로 변환하여 넣는 방법은 사용하고자 하는 커넥터의 문서나 해당 시스템을 다루는 개발자 가이드를 참조하는 것이 도움이 될 수 있습니다.
Apache Kafka와 관련하여 다른 궁금증이 있으시다면 추가적인 질문을 해주시기 바랍니다.
dags_email_on_failure
0
6
1
실무 내용 문의드려요
0
21
2
Kafka Cluster 구성도 질문
0
22
1
DAG 실습 - dags_bash_operator 실행 실패
0
31
3
함수기반 인덱스
0
29
2
날짜 인덱스관련 질문
0
26
1
복합인덱스 확인법
0
23
0
38강 클러스터에 컨트롤러 연결 질문
0
48
2
airflow 3로 되면서 2.x대에 지원 중단된 패키지가 많네요..ㅠ
0
43
1
dags 디렉토리안에 sql디렉토리 넣고 .sql 파일로 관리해도 되나요?
0
44
2
Part2 기출 문제 및 해설 자료 파일 없음 형태
0
53
2
repartition 전후 persist 용량 차이가 나는 이유가 궁금합니다
0
43
1
38번 문제 보기 3,4번
1
45
3
14번 문제
1
45
2
모바일 앱 쿠폰
0
45
1
dvdrental 서버에 접속할 수 없어요
0
41
1
astro dev init 에 Dockerfile 버전 고정 방법 문의
0
51
2
속성 핵집문제 2번
1
50
2
chapter 2 단원정리문제 49번
1
38
2
extract 함수 관련 질문
1
45
2
MSA 환경에서의 카프카 공통 설정 관리
0
110
1
안녕하세요. kafka 실행중에 다음과같은 connection refused가 나는대 왜그런걸까요??
0
704
1
안녕하세요 kafka 동시요청 관련 문의 드립니다.
0
403
0
controller와 leader의 차이점
0
267
0