inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

6.탐색 파일럿 실행 4단계 - 07.주제5-운전자의 차량용품 구매이력 정보

과제 5번에서 리눅스 디렉터리에 파일생성이 안되고 워크플로우 오류가 나요 ㅠㅠ

해결된 질문

465

그냥이것저것

작성한 질문수 3

1

일단은 위 그림처럼 워크플로우가 실패하고요 

1번에서 테이블은 생성되고 select결과는 이상없는데

리눅스에 item-buy-list 디렉터리가 만들어지지도 않고 000000_0파일도 안만들어져요 ㅠㅠ

워크플로우 처음부터 다시 만들어보고 모든 프로그램 재시작도 해보고 서버 재시작도 해봤는데 똑같습니다 ㅠ

2번 잡이 자꾸 오류나는데 정확한 오류 내용은 아래와 같습니다.!

-default

Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]

-stdout

~생략~
=================================================================

>>> Invoking Beeline command line now >>>


<<< Invocation of Beeline command completed <<<

Hadoop Job IDs executed by Beeline: job_1620654879222_0005

java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:410)
	at org.apache.oozie.action.hadoop.LauncherAM.access$300(LauncherAM.java:55)
	at org.apache.oozie.action.hadoop.LauncherAM$2.run(LauncherAM.java:223)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
	at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:217)
	at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:153)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
	at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:141)
Caused by: java.lang.SecurityException: Intercepted System.exit(2)
	at org.apache.oozie.action.hadoop.security.LauncherSecurityManager.checkExit(LauncherSecurityManager.java:57)
	at java.lang.Runtime.exit(Runtime.java:107)
	at java.lang.System.exit(System.java:971)
	at org.apache.oozie.action.hadoop.Hive2Main.runBeeline(Hive2Main.java:273)
	at org.apache.oozie.action.hadoop.Hive2Main.run(Hive2Main.java:250)
	at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:104)
	at org.apache.oozie.action.hadoop.Hive2Main.main(Hive2Main.java:65)
	... 16 more
Intercepting System.exit(2)
Failing Oozie Launcher, Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]
Oozie Launcher, uploading action data to HDFS sequence file: hdfs://server01.hadoop.com:8020/user/admin/oozie-oozi/0000000-210510225532555-oozie-oozi-W/hive-ae83--hive2/action-data.seq
Stopping AM
Callback notification attempts left 0
Callback notification trying http://server02.hadoop.com:11000/oozie/callback?id=0000000-210510225532555-oozie-oozi-W@hive-ae83&status=FAILED
Callback notification to http://server02.hadoop.com:11000/oozie/callback?id=0000000-210510225532555-oozie-oozi-W@hive-ae83&status=FAILED succeeded
Callback notification succeeded

-stderr

~생략~
INFO  : 2021-05-10 22:59:59,830 Stage-1 map = 0%,  reduce = 0%
INFO  : 2021-05-10 23:00:08,289 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.29 sec
INFO  : 2021-05-10 23:00:22,236 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 5.16 sec
INFO  : MapReduce Total cumulative CPU time: 5 seconds 160 msec
INFO  : Ended Job = job_1620654879222_0005
INFO  : Starting task [Stage-0:MOVE] in serial mode
INFO  : Moving data to local directory /home/pilot-pjt/item-buy-list from hdfs://server01.hadoop.com:8020/tmp/hive/admin/f218517c-6d76-45de-8e87-84b71fc23367/hive_2021-05-10_22-59-45_407_3168538147024318726-3/-mr-10000
ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://server01.hadoop.com:8020/tmp/hive/admin/f218517c-6d76-45de-8e87-84b71fc23367/hive_2021-05-10_22-59-45_407_3168538147024318726-3/-mr-10000 to destination /home/pilot-pjt/item-buy-list
INFO  : MapReduce Jobs Launched: 
INFO  : Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 5.16 sec   HDFS Read: 5659317 HDFS Write: 490938 HDFS EC Read: 0 SUCCESS
INFO  : Total MapReduce CPU Time Spent: 5 seconds 160 msec
INFO  : Completed executing command(queryId=hive_20210510225945_c6f3077a-4f98-4f93-9c78-bfde752cbb1d); Time taken: 37.539 seconds
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://server01.hadoop.com:8020/tmp/hive/admin/f218517c-6d76-45de-8e87-84b71fc23367/hive_2021-05-10_22-59-45_407_3168538147024318726-3/-mr-10000 to destination /home/pilot-pjt/item-buy-list (state=08S01,code=1)
Closing: 0: jdbc:hive2://server02.hadoop.com:10000/default

-syslog

            Unable to locate 'syslog' log for container container_1620654879222_0004_01_000001

참고로 하이브쿼리는 선생님 코드 모두 복붙했고요 워크플로우는 아래와 같습니다!

가르침주시면 감사하겠습니다 ㅎㅎ

bigdata Hadoop Impala redis ZooKeeper Kafka Flume 데이터 엔지니어링

답변 1

0

Big.D

안녕하세요! 빅디 입니다.

빅데이터 탐색 과제5 영역까지 많이 달리 셨네요!!! 

조금만 힘내시면 끝이 보일것 같습니다. ㅎㅎ

문의 하신 내용은...아무래도 Server02에 권한 문제인것 같습니다.
우선 아래 명령을 실행후 테스트해 보시기 바랍니다.   -빅디 올림

Server02에 Putty로 접속,

$ mkdir /home/pilot-pjt/item-buy-list

$ chmod 777 -R /home/pilot-pjt

0

그냥이것저것

선생님 감사합니다 ㅎㅎ 해결됐습니다!!!

0

Idea

오... 저도 같은 문제로 질문드리려 했는데 이미 질문하신 분이 계시네요!

저도 알려주신 방법대로 잘 해결했습니다 ㅎㅎ 감사합니다!

주제영역3 데이타 조회 문의

0

40

2

환경 세팅 후 클라우데라매니저 삭제시

0

64

2

수강 기간 연장 부탁드립니다ㅠ

0

60

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

87

2

gcc 설치 에러

0

117

3

클러스터 설정 오류

0

91

2

클라우데라 클러스터 설치로 안넘어가짐

0

119

2

버추어박스 5.0 설치

0

141

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

79

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

149

3

환경세팅 질문있습니다.

0

107

2

버쥬얼박스

0

76

2

호스트 불량 문제에 관하여

0

110

2

하이브쿼리에서 에러가 나요...

0

169

3

하이브쿼리에서 에러

0

120

1

Hbase에 적재된 데이터 확인시 에러

0

147

2

파이썬 설치 시 에러

0

159

2

redis-cli 데이터 적재 확인

0

143

2

카프카 토픽 생성에서 에러

0

139

2

HDFS 명령어를 치는데 오류가 납니다

0

135

2

가상환경 내보내기

0

109

1

SpoolDIR 폴더로 옮기

0

104

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

122

2