• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

hive managed table 관련문의

22.01.21 10:32 작성 조회수 182

0

안녕하세요 

 

extenstion table은 hive가 hdfs의 파일구조를 읽기위한 하나의 통로같은 느낌을 받았습니다.

이는 현재 클라우드에 여러 dw 서비스가 data lake의 비정형파일을 참조쿼리할때랑 유사한 방식이더군요.

다만 궁금한 것은 managed table은 아마 참조방식이 아니라 집계 적재되는 느낌인데 

이 테이블은 hdfs에 적재되는 것인지 아니면 hive 서버 내부에 별도 저장되는 것인지 문의드립니다.

 

그렇게 되면 hive를 통한 dw를 구축하는 아키덱쳐에도 상당한 양의 공간이 필요하다고 여겨지는데 

mamaged table이 분산으로 저장이 되지 않는다면... 

과연 비용상으로나 성능상으로나 구축 의미가 있는지 싶어서 문의드립니다.

답변 1

답변을 작성해보세요.

0

안녕하세요! 고준호님!

Managed Table도 hdfs에 쌓입니다~

다만, External과 Managed를 어떤 용도로 사용할건지는 정해진바는 없습니다.

External을 DW로해서 Managed를 Mart 처럼 쓰기도 하고요..

External을 데이터 랜딩영역으로 쓰고 Managed에 DW와 Mart를 구축 하기도 합니다.

- 빅디 드림