• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

Subject-5 workflow 실행 에러

22.05.02 17:00 작성 조회수 178

0

1. workflow5 실행 중 error 발생

[Worflow에서의 ERROR 내용]

2022-05-02 16:26:56,063 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[subject5 Workflow] JOB[0000006-220502133436893-oozie-oozi-W] ACTION[0000006-220502133436893-oozie-oozi-W@hive-ab5e] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2]

2022-05-02 16:26:56,081 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[subject5 Workflow] JOB[0000006-220502133436893-oozie-oozi-W] ACTION[0000006-220502133436893-oozie-oozi-W@hive-ab5e] ERROR is considered as FAILED for SLA

hive-ab5e 이름의 파일 확인 시 워크플로 두 번째 스크립트 내용

insert overwrite table Managed_SmartCar_Item_BuyList_Info partition(biz_month)  

 

2. Hue에서 작업 섹션에 액세스 시 아래 오류가 발생

HTTPConnectionPool(host='server01.hadoop.com', port=19888): Max retries exceeded with url: /jobhistory/logs/server02.hadoop.com:8041/container_1651465951375_0035_01_000001/1/admin?doAs=admin (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))


 

다른 분의 ERROR 게시 글을 확인하였는데, 

언급해주신 내용은 아래와 같습니다.!

- HDFS 권한 검사 체크 해제 확인 (O)

- superuser group 추가(X)

내용: user 'admin' does not exist.

도움 주시면 감사하겠습니다.!!!!! 

답변 1

답변을 작성해보세요.

1

안녕하세요! 장혁님!

주제영역.5의 workflow까지 문제 없이 진행 되었다면..권한문제는 아닌것으로 보입니다.

에러 내용으로 봤을땐, 하둡의 서버들과 연결 문제로 보이는데요..

위 상황에서 하둡 서버들의 상태를 체크해 보셔야 할 것 같습니다.

우선 CM Home에서 Cloudera Manager 서비스 모니터링이 정지 되어 있다면 시작해 주시고요,

CM Home에서 HDFS, YARN 의 상세로 각각 들어가셔서, 구성 서버들 (리소스메니져서버, 잡히스토리서버 등) 의 상태를  확인 부탁 드립니다.

- 빅디 드림

 

 

장혁님의 프로필

장혁

질문자

2022.05.04

상태 확인 결과 YARN의 구성 서버들 (리소스메니져서버, 잡히스토리서버 등)에서 에러가 확인되어 재시작하여 문제 해결하였습니다.!

도움주셔서 감사합니다.!!