hive managed table 관련문의
283
작성한 질문수 9
안녕하세요
extenstion table은 hive가 hdfs의 파일구조를 읽기위한 하나의 통로같은 느낌을 받았습니다.
이는 현재 클라우드에 여러 dw 서비스가 data lake의 비정형파일을 참조쿼리할때랑 유사한 방식이더군요.
다만 궁금한 것은 managed table은 아마 참조방식이 아니라 집계 적재되는 느낌인데
이 테이블은 hdfs에 적재되는 것인지 아니면 hive 서버 내부에 별도 저장되는 것인지 문의드립니다.
그렇게 되면 hive를 통한 dw를 구축하는 아키덱쳐에도 상당한 양의 공간이 필요하다고 여겨지는데
mamaged table이 분산으로 저장이 되지 않는다면...
과연 비용상으로나 성능상으로나 구축 의미가 있는지 싶어서 문의드립니다.
답변 1
0
안녕하세요! 고준호님!
Managed Table도 hdfs에 쌓입니다~
다만, External과 Managed를 어떤 용도로 사용할건지는 정해진바는 없습니다.
External을 DW로해서 Managed를 Mart 처럼 쓰기도 하고요..
External을 데이터 랜딩영역으로 쓰고 Managed에 DW와 Mart를 구축 하기도 합니다.
- 빅디 드림
주제영역3 데이타 조회 문의
0
56
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
137
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
161
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
139
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
112
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2