inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

5.분석 파일럿 실행 3단계 - 01. 임팔라로 실시간 분석

Zeppelin 쿼리 도중 fb303 에러

161

이주현

작성한 질문수 1

0

안녕하세요.

 

Zeppelin 노트북을 통해, 쿼리를 날리는 실습을 하고 있습니다.

 

SHOW TABLES 등과 같은 쿼리는 잘 작동하고 있습니다.

하지만, 몇몇 테이블에 대해 아래와 같이 접근을 시도하면 그 이후 모든 쿼리가 작동하지 않습니다.

예를들어 3개의 테이블이 있다고 하면,

 

managed_smartcar_drive_info1

managed_smartcar_drive_info2

managed_smartcar_drive_info3

 

managed_smartcar_drive_info1 에 대해

SELECT * FROM managed_smartcar_drive_info1 LIMIT 10

은 몇 번을 시도하여 잘 되지만,

 

SELECT * FROM managed_smartcar_drive_info2 LIMIT 10

혹은

SELECT * FROM managed_smartcar_drive_info3 LIMIT 10

에 대해 시도하면 fb303 에러가 뜨고 있습니다.

 

그 후 SELECT * FROM managed_smartcar_drive_info1 LIMIT 10

를 다시 실행하면, 동일하게 에러가 발생합니다

화면 캡처 2024-08-08 094331.png

.

 

putty를 통한 HIVE, HUE를 통한 임팔라와 하이브에서 모두 정상적으로 작동하지만, Zeppelin에서만 문제가 발생하고 있습니다.

 

restart를 하여도, 기존에 정상 작동하던 테이블 및 쿼리만 정상작동하며, 오류를 야기하는 테이블 및 쿼리는 다시 시도해도 동일한 결과가 나오고 있습니다.

 

thrift, fb303모두 종속성을 설정해도 잘 안되는 것 같습니다 ㅠ

화면 캡처 2024-08-08 094631.png

빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링 zeppelin

답변 1

0

Big.D

안녕하세요! 이주현님!

파일럿 프로젝트 후반부를 달리고 계시는군요?! 끝까지 화이팅! 입니다. ^^

질문주신 스크린샷을 보면...

Zeppelin의 "%spark.sql" 대신 "%sql" 후, Hive조회 쿼리를 명령을 실행 했는데요?

혹시 강의 내용과는 별게로, Zeppelin의 Hive 인터프리터로, 하이브 테이블을 직접 조회해 보고 싶은건지요??

 

우선 현상만 봤을땐 다음과 같이 복합적인 문제들로 의심이 듭니다.

managed_smartcar_drive_info의 2,3번 테이블이 1번과 상이한 구성(접근권한, 계정 등)으로 만들어 졌는지 체크해 봐야 할 것 같고요,

그로인해 2,3번 테이블 조회시 예외상황이 발생 했는데, 이게 Zeppelin의 fb303 클라이언트 라이브러리에 영향을 주면서 fb303이 비정상 상태가 된것으로 보입니다.

이후 정상 이었던 1번 테이블 조회 명령도 fb303을 통해 Hive의 메타정보 및 상태정보를 갖어 올 수 없어 발생하는 문제로 의심됩니다.

위 내용으로 체크해봐 주세요~ -빅디 드림

맥북 환경구성 에러

0

33

2

주제영역3 데이타 조회 문의

0

40

2

환경 세팅 후 클라우데라매니저 삭제시

0

64

2

수강 기간 연장 부탁드립니다ㅠ

0

60

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

87

2

gcc 설치 에러

0

117

3

클러스터 설정 오류

0

91

2

클라우데라 클러스터 설치로 안넘어가짐

0

120

2

버추어박스 5.0 설치

0

141

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

79

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

150

3

환경세팅 질문있습니다.

0

107

2

버쥬얼박스

0

76

2

psycopg2==2.6.2. 에러

0

144

2

호스트 불량 문제에 관하여

0

110

2

하이브쿼리에서 에러가 나요...

0

169

3

하이브쿼리에서 에러

0

120

1

Hbase에 적재된 데이터 확인시 에러

0

147

2

파이썬 설치 시 에러

0

159

2

redis-cli 데이터 적재 확인

0

143

2

카프카 토픽 생성에서 에러

0

139

2

HDFS 명령어를 치는데 오류가 납니다

0

135

2

가상환경 내보내기

0

109

1

SpoolDIR 폴더로 옮기

0

104

2