월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
수집 파일럿 실행 3단계 - 플럼 기능 구현 질문
위의 강사님 클러스터와 다르게 저의 클러스터는 다 느낌표가 뜨는데 이유를 모르겠습니다. 풀럼 기능 구현 강의까지는 똑같이 따라서 진행했습니다. 그대로 진행해도 괜찮을까요??
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 java 심볼릭 링크 질문
6.스마트카 로그 시뮬레이터 - 설치 및 실행 에서자바 심볼릭 링크 하는 부분에서 잘 안되서 질문드립니다java -version/usr/bin/java 부분이 계속 심볼릭 링크가 안걸리는데 조언 부탁드립니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
Subject5 실행 에러
Subject5 워크플로우 실행을 하는데 계속 에러가 떠서 질문드립니다. 아래 로그 첨부 하겠습니다.2022-12-15 21:56:37,147 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[] No results found 2022-12-15 21:56:37,282 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] Start action [0000000-221215213607619-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-12-15 21:56:37,310 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] Starting action 2022-12-15 21:56:37,344 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] [***0000000-221215213607619-oozie-oozi-W@:start:***]Action status=DONE 2022-12-15 21:56:37,349 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] [***0000000-221215213607619-oozie-oozi-W@:start:***]Action updated in DB! 2022-12-15 21:56:37,974 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] Action ended with external status [OK] 2022-12-15 21:56:38,364 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] No results found 2022-12-15 21:56:38,433 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@:start:] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@:start: 2022-12-15 21:56:38,438 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W 2022-12-15 21:56:38,606 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Start action [0000000-221215213607619-oozie-oozi-W@hive-293c] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-12-15 21:56:38,654 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Starting action. Getting Action File System 2022-12-15 21:56:38,792 INFO org.apache.oozie.service.HadoopAccessorService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Processing configuration file [/var/run/cloudera-scm-agent/process/188-oozie-OOZIE_SERVER/action-conf/default.xml] for action [default] and hostPort [*] 2022-12-15 21:56:38,853 INFO org.apache.oozie.service.HadoopAccessorService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Processing configuration file [/var/run/cloudera-scm-agent/process/188-oozie-OOZIE_SERVER/action-conf/hive2.xml] for action [hive2] and hostPort [*] 2022-12-15 21:56:49,747 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2022-12-15 21:56:49,788 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2022-12-15 21:56:55,853 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] checking action, hadoop job ID [application_1671108107598_0001] status [RUNNING] 2022-12-15 21:56:55,874 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] [***0000000-221215213607619-oozie-oozi-W@hive-293c***]Action status=RUNNING 2022-12-15 21:56:55,875 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] [***0000000-221215213607619-oozie-oozi-W@hive-293c***]Action updated in DB! 2022-12-15 21:56:55,891 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@hive-293c 2022-12-15 21:57:24,238 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] callback for action [0000000-221215213607619-oozie-oozi-W@hive-293c] 2022-12-15 21:57:25,832 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] action completed, external ID [application_1671108107598_0001] 2022-12-15 21:57:26,337 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] Action ended with external status [SUCCEEDED] 2022-12-15 21:57:26,437 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] No results found 2022-12-15 21:57:26,530 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] Start action [0000000-221215213607619-oozie-oozi-W@hive-a4af] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-12-15 21:57:26,557 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] Starting action. Getting Action File System 2022-12-15 21:57:28,919 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2022-12-15 21:57:28,922 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2022-12-15 21:57:30,931 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] checking action, hadoop job ID [application_1671108107598_0002] status [RUNNING] 2022-12-15 21:57:30,959 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] [***0000000-221215213607619-oozie-oozi-W@hive-a4af***]Action status=RUNNING 2022-12-15 21:57:30,967 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] [***0000000-221215213607619-oozie-oozi-W@hive-a4af***]Action updated in DB! 2022-12-15 21:57:30,997 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@hive-a4af 2022-12-15 21:57:31,001 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-293c] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@hive-293c 2022-12-15 21:59:31,062 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] callback for action [0000000-221215213607619-oozie-oozi-W@hive-a4af] 2022-12-15 21:59:31,474 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] External Child IDs : [job_1671108107598_0003] 2022-12-15 21:59:31,485 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] action completed, external ID [application_1671108107598_0002] 2022-12-15 21:59:31,641 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] Action ended with external status [SUCCEEDED] 2022-12-15 21:59:32,144 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] No results found 2022-12-15 21:59:32,298 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] Start action [0000000-221215213607619-oozie-oozi-W@hive-fd33] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-12-15 21:59:32,316 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] Starting action. Getting Action File System 2022-12-15 21:59:35,810 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2022-12-15 21:59:35,834 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2022-12-15 21:59:37,976 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] checking action, hadoop job ID [application_1671108107598_0004] status [RUNNING] 2022-12-15 21:59:37,997 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] [***0000000-221215213607619-oozie-oozi-W@hive-fd33***]Action status=RUNNING 2022-12-15 21:59:38,016 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] [***0000000-221215213607619-oozie-oozi-W@hive-fd33***]Action updated in DB! 2022-12-15 21:59:38,061 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@hive-fd33 2022-12-15 21:59:38,068 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-a4af] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@hive-a4af 2022-12-15 22:01:01,194 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] callback for action [0000000-221215213607619-oozie-oozi-W@hive-fd33] 2022-12-15 22:01:01,552 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] External Child IDs : [job_1671108107598_0005] 2022-12-15 22:01:01,556 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] action completed, external ID [application_1671108107598_0004] 2022-12-15 22:01:01,558 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 2022-12-15 22:01:01,645 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] Action ended with external status [FAILED/KILLED] 2022-12-15 22:01:01,734 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] ERROR is considered as FAILED for SLA 2022-12-15 22:01:02,263 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] No results found 2022-12-15 22:01:02,310 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@Kill] Start action [0000000-221215213607619-oozie-oozi-W@Kill] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-12-15 22:01:02,323 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@Kill] Starting action 2022-12-15 22:01:02,335 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@Kill] [***0000000-221215213607619-oozie-oozi-W@Kill***]Action status=DONE 2022-12-15 22:01:02,336 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@Kill] [***0000000-221215213607619-oozie-oozi-W@Kill***]Action updated in DB! 2022-12-15 22:01:02,373 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@Kill] Action ended with external status [OK] 2022-12-15 22:01:02,867 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@Kill] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@Kill 2022-12-15 22:01:02,873 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W 2022-12-15 22:01:02,873 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221215213607619-oozie-oozi-W] ACTION[0000000-221215213607619-oozie-oozi-W@hive-fd33] No Notification URL is defined. Therefore nothing to notify for job 0000000-221215213607619-oozie-oozi-W@hive-fd33
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 ERR_SOCKET_NOT_CONNECTED 에러
안녕하세요.빅데이터 프로젝트 환경 구축 도중 에러가 발생하여,,문의 드립니다. 3VM 이미지를 활용하여 서버를 구축하였으나,모니터링 관련 쿼리가 되지 않는다는 에러가 계속 발생하여, 다시 구축을 해보았습니다. 이미지 로드까지는 정상적으로 되지만,클라우데라 관리자 페이지에 접속이 되지 않는 문제가 발생하고 있습니다.$service cloudera-scm-server status를 입력시,cloudera-scm-server (pid 2154) us running...라고 나오지만, 계속 아래의 화면처럼 접속이 되지 않습니다ㅠ제가 한번 구축 후 윈도우 업데이트를 진행을 했었는데 그게 원인이 된걸까요??해결방법을 알려주시면 감사하겠습니다ㅠ개인적으로 virtualbox도 여러번 재설치를 해보고 2VM, 3VM 이미지 압축파일도 다시 다운로드 하여서 계속 구축을 시도했지만 계속 같은 문제가 발생하여 문의 드립니다..
- 해결됨15일간의 빅데이터 파일럿 프로젝트
클라우데라 연결 거부
안녕하세요.환경 구축 단계에서 클라우데라 접속이 계속 거부 당해서 애먹고 있습니다. 위와같이 매핑도 했는데 putty로 server1(192.168.56.101)에 접속해서 클라우데라 status를 확인하려고 하면 server2로 연결이 됩니다...매핑이 잘못된걸까요...?원인을 모르겠네요반대로 server2(192.168.56.102)에 접속할라고 하면 server01로 접속이 되고 클라우데라서버는 running 상태입니다.혹시나 해서 server02로 바꿔봐도 연결 거부상태는 똑같습니다.pc백신 프로그램도 다 껐고 방화벽도 제거했는데 왜 이러는 건지 알 수 가없네요ㅜㅜ
- 미해결15일간의 빅데이터 파일럿 프로젝트
Subject2 error
Subject2 workflow를 실행시켰을때 테이블에 데이터가 안담겨서 탐색부분을 처음부터 다시 수강하였습니다. 그런데 이번엔 이런 에러가 뜨네요 왜 그런거죠?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Subject 2 테이블
이렇게 작업은 오류가 없이 완료가 되었는데 Subject1을 할 때는 테이블에 데이터가 잘 담겼는데 Subject2 workflow는 테이블에 데이터가 담기지가 않네요..ㅠㅠ 뭐가 문제인거죠? 워크 플로우랑 테이블 지우고 다시 해보기를 4번 정도 더 해봤는데도 계속 결과가 같네요...
- 미해결15일간의 빅데이터 파일럿 프로젝트
강의 수강 연장 부탁드립니다.
유사한 요청/답변글이 있어, 강의 수강 연장 부탁드립니다.프로젝트로 인해.. 강의 수강을 많이 못했습니다.저도 한달 연장해주신다면, 전체 수강완료하겠습니다. 꼭 완료하고 싶습니다!
- 미해결15일간의 빅데이터 파일럿 프로젝트
윈도우-WSL ubuntu에 Hue설치 가능여부
안녕하세요, 강사님.Hue설치를 Server02가 아닌 VirtualBox가 돌아기는 윈도우즈의 WSL-Ubuntu에 설치가 가능한지요?클라우데라 매니저의 클러스터 호스트 서버가 아닌 서버에 Hue를 설체해도 하둡저장소(Server02)에 파일을 저장하고 테이블을 만드는 일이 가능한지가 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
hbase scan
hbase shell에서 scan 조건이랑 filter걸어주는 명령어를 했을때 에러가 뜹니다.이런식으로 뜨는데 왜 그런거죠??
- 미해결15일간의 빅데이터 파일럿 프로젝트
강의 수강 연장이 가능할까요?
안녕하세요. 강사님. 딱히 문의할 곳을 못찾아서 여기로 문의 드립니다.제가 강의 열심히 듣다가 바쁜일이 있어서 강의를 못들었는데 오늘이 수강 마지막날이 됐네요. 50%정도 밖에 수강을 못했습니다.혹시 강의 수강기간을 연장해주실 수 있나요?끝까지 꼭 듣고싶습니다. ㅠㅠ
- 미해결15일간의 빅데이터 파일럿 프로젝트
수강 환경 문의
안녕하세요!이번에 오라클에서 베타버젼으로 mac os m1 내에서 virtual box를 지원해준다고 하는데해당 프로그램으로 수행해도 괜찮을까요?https://cholchori.tistory.com/2498 아니면 페러렐즈로 윈도우를 설치해서 강의를 수강해도 될까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
ERR_CONNECTION_TIMED_OUT 에러 발생
안녕하세요. 책을 구매하고 공부하던 도중에 이 부분에서 문제가 발생하여 해결이 안되서 찾아보던중에 강의가 있어서 구매하여 이부분을 확인하였는데 결국 해결이 되지 않더라고요. 다른 질문들을 확인 했을 때 제 컴퓨터의 문제가 있을 수도 있을 것 같아 ERR_CONNECTION_TIMED_OUT을 해결하는 것을 다 찾아서 해봤지만 결국 해결이 되지 않았습니다. virtualbox는 5.0 버전은 서버 자체가 실행이 되지 않아서 윗버전 6.1 을 재설치 해서 진행을 해봤으나 같은 이유로 해결이 되지 않아서, 최신버전 7.0버전을 설치해서 진행하였으나 또한 해결이 되지 않았습니다. 제가 따로 공부하고 있는 Ambari sandbox 는 접속이 되던데 이해가 되질 않습니다.몇일을 이거 때문에 고생을 하고 있네요.
- 미해결15일간의 빅데이터 파일럿 프로젝트
storm kafka spout , hbase error
storm 에서 kafka, hbase에서 에러가 발생 하였습니다. 해당 error를 해결하고자 다른 수강자분께서 남겨주신 글들을 참고하였고 google의 도움을 받았으나 해결이 되지 않았습니다. [zkcli node 정상 . kafka 실시간 데이터 수집은 정상 구동 중]storm jar 파일을 열어 본 결과 아래와 같은 더이상 지원하지 않는다고 합니다. storm jar 파일의 최신화가 필요 할 것 같은데 혹시 개선하실 계획이 있으실까요
- 미해결15일간의 빅데이터 파일럿 프로젝트
~\CH07\HiveQL\그림-7.60.hql 실행오류
7.분석파일럿실행5단계-02스마트카상태정보예측(하)에서 Hive Query 파일 ~\CH07\HiveQL\그림-7.60.hql을 Hue Hive Query Editor에서 실행하면,아래와 같은 오류 메시지가 나옵니다. Unable to move source hdfs://server01.hadoop.com:8020/tmp/hive/admin/ed5ce198-e0d8-473a-93ac-c6b8a130e15d/hive_2022-11-18_14-10-21_815_3739448736364799299-1/-mr-10000 to destination /home/pilot-pjt/spark-data/classification/input해결방벙이 있을까요?,초기 버추얼가상서버 설정시 Server01에 DataNode를 설정한게 문제가 되는거 같기도 한데요, 확인해 보니 강사님은 Server01에는 NameNode만 설정하신거 같더라구요
- 미해결15일간의 빅데이터 파일럿 프로젝트
강의자료
안녕하세요복습하기 위해 강의자료를 보고싶은데, 하나씩 강의를 눌러서 다운받아야하나요? 강의자료만 모아놓은 자료실이 없나요??
- 미해결15일간의 빅데이터 파일럿 프로젝트
JobHistory서버접속불가
http://server01.hadoop.com:19888/ 가 크롬에서 열리지가 않는데 왜그러는지 모르겠습니다.CM - YARN - Web UI - HistoryServer Web UI 메뉴로 들어거도 동일한 오류가 나옵니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
처음부터
제가 강의를 다 듣고 다시 처음부터 한번 더 듣고 싶은데 실습환경이 다 되어 있는 상태가 아니라 모든것을 초기화 하고 듣고 싶습니다. 설치했던 것들을 모두 지우고 다시 설치하면 다 리셋이 될까요??
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 계속 안열리는데 꼭 사용해야 하나요
클라우데라 매니저 환경 구성하는 부분부터 안열리고 앞으로도 계속 학습 진행한다는 보장이 없는데 꼭 사용해야 하나요? 아니면 다른 대체할 수 있는 게 있나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저에 접속 오류
버추얼 박스에 클라우데라 매니저 에 계속 빈 페이지로 접속이 안 되서 옛날 질문에 server01에 putty로 접속해서 하면 된다고 하셨는데 그 의미를 잘 모르겠어요 그리고 버추얼 박스랑 putty 어떻게 연동하나요? 이거 깔고나서 부턴 server01,server02파일이 안열려서 지우면 항상 다시 깔아야 되요