inflearn logo
강의

Course

Instructor

15-day big data pilot project

5. Analysis Pilot Step 3 - 01. Real-time Analysis with Impala

Zeppelin 쿼리 도중 fb303 에러

165

goodmonkeys5665

1 asked

0

안녕하세요.

 

Zeppelin 노트북을 통해, 쿼리를 날리는 실습을 하고 있습니다.

 

SHOW TABLES 등과 같은 쿼리는 잘 작동하고 있습니다.

하지만, 몇몇 테이블에 대해 아래와 같이 접근을 시도하면 그 이후 모든 쿼리가 작동하지 않습니다.

예를들어 3개의 테이블이 있다고 하면,

 

managed_smartcar_drive_info1

managed_smartcar_drive_info2

managed_smartcar_drive_info3

 

managed_smartcar_drive_info1 에 대해

SELECT * FROM managed_smartcar_drive_info1 LIMIT 10

은 몇 번을 시도하여 잘 되지만,

 

SELECT * FROM managed_smartcar_drive_info2 LIMIT 10

혹은

SELECT * FROM managed_smartcar_drive_info3 LIMIT 10

에 대해 시도하면 fb303 에러가 뜨고 있습니다.

 

그 후 SELECT * FROM managed_smartcar_drive_info1 LIMIT 10

를 다시 실행하면, 동일하게 에러가 발생합니다

화면 캡처 2024-08-08 094331.png

.

 

putty를 통한 HIVE, HUE를 통한 임팔라와 하이브에서 모두 정상적으로 작동하지만, Zeppelin에서만 문제가 발생하고 있습니다.

 

restart를 하여도, 기존에 정상 작동하던 테이블 및 쿼리만 정상작동하며, 오류를 야기하는 테이블 및 쿼리는 다시 시도해도 동일한 결과가 나오고 있습니다.

 

thrift, fb303모두 종속성을 설정해도 잘 안되는 것 같습니다 ㅠ

화면 캡처 2024-08-08 094631.png

빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링 zeppelin

Answer 1

0

빅디

안녕하세요! 이주현님!

파일럿 프로젝트 후반부를 달리고 계시는군요?! 끝까지 화이팅! 입니다. ^^

질문주신 스크린샷을 보면...

Zeppelin의 "%spark.sql" 대신 "%sql" 후, Hive조회 쿼리를 명령을 실행 했는데요?

혹시 강의 내용과는 별게로, Zeppelin의 Hive 인터프리터로, 하이브 테이블을 직접 조회해 보고 싶은건지요??

 

우선 현상만 봤을땐 다음과 같이 복합적인 문제들로 의심이 듭니다.

managed_smartcar_drive_info의 2,3번 테이블이 1번과 상이한 구성(접근권한, 계정 등)으로 만들어 졌는지 체크해 봐야 할 것 같고요,

그로인해 2,3번 테이블 조회시 예외상황이 발생 했는데, 이게 Zeppelin의 fb303 클라이언트 라이브러리에 영향을 주면서 fb303이 비정상 상태가 된것으로 보입니다.

이후 정상 이었던 1번 테이블 조회 명령도 fb303을 통해 Hive의 메타정보 및 상태정보를 갖어 올 수 없어 발생하는 문제로 의심됩니다.

위 내용으로 체크해봐 주세요~ -빅디 드림

맥북 환경구성 에러

0

63

2

주제영역3 데이타 조회 문의

0

59

2

환경 세팅 후 클라우데라매니저 삭제시

0

84

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

103

2

gcc 설치 에러

0

141

3

클러스터 설정 오류

0

110

2

클라우데라 클러스터 설치로 안넘어가짐

0

127

2

버추어박스 5.0 설치

0

158

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

162

3

환경세팅 질문있습니다.

0

114

2

버쥬얼박스

0

85

2

psycopg2==2.6.2. 에러

0

156

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

187

3

하이브쿼리에서 에러

0

129

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

175

2

redis-cli 데이터 적재 확인

0

147

2

카프카 토픽 생성에서 에러

0

150

2

HDFS 명령어를 치는데 오류가 납니다

0

142

2

가상환경 내보내기

0

116

1

SpoolDIR 폴더로 옮기

0

115

2