월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
호스트 파일이 없어져서 새로 작성했는데 맞는지 확인해주세요 저는 윈도우 11 사용하고 있습니다
메모장에서 관리자 권한으로 hosts파일 수정할려고 하는데 없어졌네요호스트 파일이 없어져서 새로 작성했는데 맞는지 확인해주세요 저는 윈도우 11 사용하고 있습니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
특정 파일 다운로드가 너무 오래 걸려요 원래는 파일럿 프로젝트 VM.jp도 1분정도 걸려서 다운로드 되는데 이제는 1시간 걸려요 그리고 저 밑에 두 문제 올렸는데 답변해주세요
(사진)
- 미해결15일간의 빅데이터 파일럿 프로젝트
고사양 PC용 - 3VM(Server01/02/03) 오류
server01,server02는 잘 받아지던데 고사양 PC용 - 3VM(Server01/02/03) 파일은다운로드 받는데 1시간이 걸리고 계속 취소됨으로 나타나서 오류가 나네요 아까 미완성으로 한 번 열렸을때 putty로 잘못 들어가서 계속 이렇게 받아지는데 어떻게 하나요, 다시 연결프로그램을 버츄얼박스로 지정하면 이렇게 나옵니다그래도 고사양 PC용 - 3VM(Server01/02/03) 파일을 열려고 하면 이런 에러가 뜨네요
- 미해결15일간의 빅데이터 파일럿 프로젝트
오라클 안 열림
오라클이 어제까지는 잘돌아 갔는데 오늘 부터 안돌아가서 새로 삭제하고 다시 깔아야 하나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 설치시 호스트 검사 오
결과가 이렇게 나와서 환경 구축하는 거 좀 알려주세요
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 구축 안됨
putty로 vm box server01에 접속하면 된다는데 저는 접속방법도 확실하게 모르겠어서 클라우데라 매니저 환경 설정이 안되네요 방법을 알려주세요
- 미해결15일간의 빅데이터 파일럿 프로젝트
여러 방법으로 해결해보려고 했지만 포기
레딧을 아무리 Setup 하려고 해도 안되네요 VM에서 설정을 봐도 안되고 해서 일주일동안 시간만 허비하다가 결국 포기합니다. ㅜ.ㅜ
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저에서 아무런 화면이 나오지 않습니다.
안녕하세요. 실습을 진행하고 있는데, 클라우데라 매니저부터 실습 진행이 되지 않아 질문 남깁니다.현재 상황은 Virtual box를 사용하여 server01.hadoop.com까지 진입이 되는데, 이후 다음이 사진처럼 나와 그 다음 스텝을 진행할 수 없습니다. 비슷한 많은 질문들을 보았지만 저와 같은 증상은 볼 수 없어서 새로운 질문으로 남기게 되었습니다. 사진상 우측 하단의 뒤로 옆의 빈 버튼을 클릭해보아도 아무런 반응도 하지 않습니다.참고로 인텔 맥북으로 실습 진행중이며, 저사양용, 고사양용 둘 다 다운받아서 실행해보았지만 같은 증상입니다. 다만 차이점은 저사양용 파일로 실습을 진행했을 경우에는 클러스터가 생성되어 있지 않습니다. 그래서 클러스터를 추가하려고 하면 결국 위의 사진과 같은 창에서 아무런 화면도 안나오고 입력도 되지 않아 더이상 진행이 불가하고, 고사양 파일 같은 경우에는 Cluster1은 추가가 되어있으나, 메인화면에서 서비스 추가를 누르면 결국 위의 사진과 같은 화면으로 돌아오기 때문에 그 이후의 CDH, Parcel 설정부터 진행이 불가능합니다.아래 사진은 3VM으로 실행시켰을 때의 CM 화면입니다.Parcel모든 Host도움 주시면 감사드리겠습니다.. 추가로 혹시 뒤의 강의도 저사양 버전의 2VM 기준으로 진행이 되나요? 3VM 사양이 된다면 3VM으로 강의와 함께 실습 진행해도 문제 없는지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
탐색 파일럿 실행 주제영역 5 관련 에러
안녕하세요.주제영역 1~4는 다 완성해서 테스트까지 문제가 없었는데,Workflow 5 실행을 하면 첫번째 사진처럼 오류가 납니다.(Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2])그래서 재실행하려고 하면 두번째 사진같이 hive-8943, hive-f7c0 이 두개가 나오는데,선택 후 재실행해도 같은 에러만 계속 뜹니다.로그2022-10-18 10:37:56,725 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[] No results found 2022-10-18 10:37:57,018 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] Start action [0000000-221018103111060-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-10-18 10:37:57,038 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] Starting action 2022-10-18 10:37:57,071 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] [***0000000-221018103111060-oozie-oozi-W@:start:***]Action status=DONE 2022-10-18 10:37:57,073 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] [***0000000-221018103111060-oozie-oozi-W@:start:***]Action updated in DB! 2022-10-18 10:37:57,644 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] Action ended with external status [OK] 2022-10-18 10:37:57,869 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] No results found 2022-10-18 10:37:57,924 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@:start:] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@:start: 2022-10-18 10:37:57,931 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W 2022-10-18 10:37:58,198 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Start action [0000000-221018103111060-oozie-oozi-W@hive-8943] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-10-18 10:37:58,251 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Starting action. Getting Action File System 2022-10-18 10:37:58,335 INFO org.apache.oozie.service.HadoopAccessorService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Processing configuration file [/var/run/cloudera-scm-agent/process/158-oozie-OOZIE_SERVER/action-conf/default.xml] for action [default] and hostPort [*] 2022-10-18 10:37:58,740 INFO org.apache.oozie.service.HadoopAccessorService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Processing configuration file [/var/run/cloudera-scm-agent/process/158-oozie-OOZIE_SERVER/action-conf/hive2.xml] for action [hive2] and hostPort [*] 2022-10-18 10:38:08,426 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2022-10-18 10:38:08,450 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2022-10-18 10:38:11,291 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] checking action, hadoop job ID [application_1666056618933_0001] status [RUNNING] 2022-10-18 10:38:11,308 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] [***0000000-221018103111060-oozie-oozi-W@hive-8943***]Action status=RUNNING 2022-10-18 10:38:11,308 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] [***0000000-221018103111060-oozie-oozi-W@hive-8943***]Action updated in DB! 2022-10-18 10:38:11,319 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@hive-8943 2022-10-18 10:38:36,625 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] callback for action [0000000-221018103111060-oozie-oozi-W@hive-8943] 2022-10-18 10:38:37,942 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] action completed, external ID [application_1666056618933_0001] 2022-10-18 10:38:38,033 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] Action ended with external status [SUCCEEDED] 2022-10-18 10:38:38,152 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] No results found 2022-10-18 10:38:38,761 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] Start action [0000000-221018103111060-oozie-oozi-W@hive-f7c0] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-10-18 10:38:38,776 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] Starting action. Getting Action File System 2022-10-18 10:38:41,091 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2022-10-18 10:38:41,094 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2022-10-18 10:38:42,746 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] checking action, hadoop job ID [application_1666056618933_0002] status [RUNNING] 2022-10-18 10:38:42,757 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] [***0000000-221018103111060-oozie-oozi-W@hive-f7c0***]Action status=RUNNING 2022-10-18 10:38:42,765 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] [***0000000-221018103111060-oozie-oozi-W@hive-f7c0***]Action updated in DB! 2022-10-18 10:38:42,785 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@hive-f7c0 2022-10-18 10:38:42,791 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-8943] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@hive-8943 2022-10-18 10:40:18,663 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] callback for action [0000000-221018103111060-oozie-oozi-W@hive-f7c0] 2022-10-18 10:40:18,971 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] External Child IDs : [job_1666056618933_0003] 2022-10-18 10:40:18,987 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] action completed, external ID [application_1666056618933_0002] 2022-10-18 10:40:19,226 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] Action ended with external status [SUCCEEDED] 2022-10-18 10:40:19,417 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] No results found 2022-10-18 10:40:19,883 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] Start action [0000000-221018103111060-oozie-oozi-W@hive-1ff1] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-10-18 10:40:19,905 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] Starting action. Getting Action File System 2022-10-18 10:40:22,772 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2022-10-18 10:40:22,776 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2022-10-18 10:40:24,036 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] checking action, hadoop job ID [application_1666056618933_0004] status [RUNNING] 2022-10-18 10:40:24,041 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] [***0000000-221018103111060-oozie-oozi-W@hive-1ff1***]Action status=RUNNING 2022-10-18 10:40:24,041 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] [***0000000-221018103111060-oozie-oozi-W@hive-1ff1***]Action updated in DB! 2022-10-18 10:40:24,066 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@hive-1ff1 2022-10-18 10:40:24,069 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-f7c0] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@hive-f7c0 2022-10-18 10:41:29,401 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] callback for action [0000000-221018103111060-oozie-oozi-W@hive-1ff1] 2022-10-18 10:41:29,597 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] External Child IDs : [job_1666056618933_0005] 2022-10-18 10:41:29,603 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] action completed, external ID [application_1666056618933_0004] 2022-10-18 10:41:29,603 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 2022-10-18 10:41:29,665 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] Action ended with external status [FAILED/KILLED] 2022-10-18 10:41:29,674 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] ERROR is considered as FAILED for SLA 2022-10-18 10:41:29,976 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] No results found 2022-10-18 10:41:30,035 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@Kill] Start action [0000000-221018103111060-oozie-oozi-W@Kill] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2022-10-18 10:41:30,058 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@Kill] Starting action 2022-10-18 10:41:30,065 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@Kill] [***0000000-221018103111060-oozie-oozi-W@Kill***]Action status=DONE 2022-10-18 10:41:30,066 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@Kill] [***0000000-221018103111060-oozie-oozi-W@Kill***]Action updated in DB! 2022-10-18 10:41:30,093 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 5 - Workflow] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@Kill] Action ended with external status [OK] 2022-10-18 10:41:30,250 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@Kill] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@Kill 2022-10-18 10:41:30,252 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W 2022-10-18 10:41:30,253 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-221018103111060-oozie-oozi-W] ACTION[0000000-221018103111060-oozie-oozi-W@hive-1ff1] No Notification URL is defined. Therefore nothing to notify for job 0000000-221018103111060-oozie-oozi-W@hive-1ff1+CM를 보면 HDFS만 경고창 하나가 떠있는데 그게 혹시 문제가 되는건가 싶어서 같이 첨부합니다.++ 다른 질문글에 있는 권한은 이미 해보았습니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
휴설치
이런식으로 계속 떠서 혹시 CM에서 휴설치를 해봤는데 안되네요...어떻게 해야 되죠??그리고 yum install centos-release-scl 이부분에서도 계속 이렇게 에러가 뜹니다 앞에 echo문 5개 다 하고 한겁니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
서버2 홈에 pilot-pjt가 없어요!
휴를 이용해 홈에서 pilot-pjt 폴더로 이동하셨는데 저는 아래 사진과 같이 해당 폴더가 없어요 ㅠ_ㅠ위 사진은 데이터를 플럼이 바라보는 곳에 넣는 장면입니다, 하둡에 잘 적재되었는지 확인해보고 싶어서 충분히 시간을 두고 명령을 실행했는데 no such file or directory만 뜨더니 폴더에 있던 데이터 파일이 사라졌어요..! (플럼, HDFS 둘 다 정상 작동중)휴에서 서버2 홈에서 pilot-pjt/collect 폴더가 없는것과 연관이 있을까 하여 올려드립니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
휴 설치
휴를 설치하기 위해 서버2에 putty로 접속하여 명령들을 따라 실행하던중 bash -c "source /opt/rh/python27/enable; pip install psycopg2==2.6.2 --ignore-installed"를 실행할 때에 다음과 같은 화면이 떴습니다. 글자가 잘 안보이실까봐 메세지 복사도 해드립니다. creating build/temp.linux-x86_64-2.7/psycopg gcc -pthread -fno-strict-aliasing -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --pa ram=ssp-buffer-size=4 -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOU RCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -fPIC -DPSYCOPG_DEFAULT_PYDATETIME=1 -DPSYCOPG_VERSION="2.6.2 (dt dec pq3 ext)" -DPG_VERSION_HEX=0x080414 -I/opt/rh/pytho n27/root/usr/include/python2.7 -I. -I/usr/include -I/usr/include/pgsql/server -c psycopg/psycopgmodule.c -o build/te mp.linux-x86_64-2.7/psycopg/psycopgmodule.o -Wdeclaration-after-statement unable to execute 'gcc': No such file or directory error: command 'gcc' failed with exit status 1 ----------------------------------------Command "/opt/rh/python27/root/usr/bin/python2 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-_ik9ws/ps ycopg2/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), file, 'exe c'))" install --record /tmp/pip-Fywv3x-record/install-record.txt --single-version-externally-managed --compile" fail ed with error code 1 in /tmp/pip-build-_ik9ws/psycopg2/You are using pip version 8.1.2, however version 22.2.2 is available.You should consider upgrading via the 'pip install --upgrade pip' command. 이후 휴를 설치하던 도중 다음과 같은 에러가 뜹니다.설정은 로드발란서는 사용하지 않고 휴 서버는 서버2에 설치했습니다.뭔가 앞선 명령이 실행되지 않았고 그게 영향을 미치는 것 같아서 두개 다 찍어서 보여드립니다..! 해결방법을 알려주세요~
- 미해결15일간의 빅데이터 파일럿 프로젝트
우지 설치2
Hbase를 설치하고 다음과 같이 thrift 서버 설정을 완료하였습니다그런데 여전히 우지 설치과정중에 사진과 같이 Hbase가 뜨지 않습니다. Hbase가 포함된 디펜던시를 선택하지 않아도 괜찮을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
미러리스트
파이썬 버전 2.7을 설치하는 과정에서 미러리스트가 삭제되었다고 하셨고 강의 소식에 있는 명령어 다섯줄을 그대로 복사 붙여넣기 했습니다만 다음과 같이 no such file or directory 라고 뜹니다! 제가 실수한 것이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
우지 설치
대용량 파일 적재 실습 후 실시간 데이터 적재는 실습하지 않고 바로 탐색 챕터로 넘어왔습니다, 다만 Hbase를 실시간 데이터 적재 챕터에서 설치하시기에 그것만 보고 따라했습니다.!그런데 현재 우지 설치과정중에 사진과 같이 Hbase가 뜨지 않습니다. Hbase가 포함된 디펜던시를 선택하라고 강의중에 말씀하셔서 조금 걱정이 됩니다. 괜찮을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
생성한 데이터 파일을 플럼이 바라보는곳으로 이동시켰지만 파일이 없는 문제
chmod 777 -R workingcd /home/pilot-pjt/working/java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 &cd SmartCar/mv SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/하루짜리 배치파일을 생성하기 위해 로그젠을 실행시키고 만들어진 txt 파일을 플럼이 바라보는 폴더로 이동시키는 과정입니다. 위 명령어 순서대로 실행했습니다. txt 파일이 만들어진 것을 확인했고, mv 명령어 이후 해당 폴더에서 txt 파일이 사라진 것 까지 확인했으나 정작 /home/pilot-pjt/working/car-batch-log/ 경로로 가보면 파일이 옮겨져있지 않습니다. 그래서hdfs dfs -ls -R /pilot-pjt/collect/car-batch-log명령어로 하둡에 잘 적재되어있는지 확인이 불가합니다 ㅠ_ㅠ제가 어떤것을 잘못했을까요?그리고 위 hdfs 명령어는 어느 폴더에서든지 실행할 수 있나요?아직 pilot-pjt 폴더 내에 working 디렉토리만 있고 collect 디렉토리는 없습니다. 제가 txt 데이터 파일을 플럼이 바라보는곳에 아직 넣지 못해서 collect 디렉토리가 안만들어진 것일까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
에이전트 설치에서 에러가 발생합니다.
아래 3개 서버를 늘렸을때 이러한 에러가 난다고 봤는데 2개를 올려도 다음과 같은 에러가 발생합니다.어떻게 진행을 해야 하는지 문의드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저를 사용하는 이유
인프런에서 하둡 강의를 검색하면 나오시는 다른 강사분께서는 "클라우데라 매니저를 사용하지 않고 직접 하둡을 설치해서 강의를 진행하고 싶었다" 라고 말씀하시는데 문득 이유가 궁금해져서요, 강의를 보면서 느낀바로는 클라우데라 매니저는 하둡 생태계를 효율적으로 구성하기 위해서 관련된 툴(라이브러리? 오픈소스? 프레임워크? 뭐라고 해야할까요)들을 한곳에서 설치할 수 있게 제공하는 것으로 이해했는데요, 무조건 클라우데라 매니저를 사용하는 것이 편리할 것 같은데 직접 하둡을 설치하는것의 이점이 있나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
카프카 비동기 전송
플럼에서 수집한 데이터를 카프카 싱크 컴포넌트를 이용해 저장소에 비동기 전송한다는 말은 장애상황에서 저장소에 데이터가 들어가지 못하고 있을때 카프카의 버퍼에서 갖고있다는 말인가요? (비동기 전송 = 데이터의 발생과 적재가 동시에 이루어지지 않는다)
- 미해결15일간의 빅데이터 파일럿 프로젝트
맵리듀스
일반적인 프로그램에서는 DB의 데이터를 가져와 메모리에서 처리한다고 말씀하셨는데 하둡의 맵리듀스 과정은 데이터가 이동하는것이 아니라 처리 로직(프로그램)이 데이터가 있는 곳으로 이동한다고 하셨습니다. 이렇게 하는 이유가 궁금합니다.위와 같은 과정에서 분석 쿼리는 여러개의 노드에서 동시에 수행되나요, 아니면 노드를 순서대로 방문해서 차례대로 실행되나요?하둡, Hbase, 카프카, 스톰의 내부에서 주키퍼에 의존해 클러스터 멤버십 기능과 동기화를 사용한다고 하셨는데 클러스터 멤버십 기능은 무엇이고 말씀하시는 환경설정의 동기화는 무엇을 의미하나요?