월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
오라클 virtualbox 윈도우11 호스트 전용 네트워크 설정
강의에서는 호환문제때문에 5.0 설치하라고 하셨는데제 노트북에서 설치 후 실행 자체가 되지 않아virtualbox 6.1.44를 다운받았습니다. 근데 네트워크 설정에서 호스트 전용 네트워크 칸이 뜨지 않아서요.어떻게 들어가서 설정해야할까요?저장
- 미해결15일간의 빅데이터 파일럿 프로젝트
오라클 Virtualbox 설치 후 서버 실행시 오류입니다.
VM Name: Server01Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND).Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND).Result Code:E_FAIL (0X80004005)Component:ConsoleWrapInterface:IConsole {6ac83d89-6ee7-4e33-8ae6-b257b2e81be8} 이런 오류가 뜨는데 어떻게 해결하면 좋을까요?? 구글링 해보니 host-only-ethernet을 새로만들고 다시 해보라고 하던데 그 방법도 되지 않습니다.Virtualbox 버전은 7.0.8 최신버전입니다.
- 해결됨15일간의 빅데이터 파일럿 프로젝트
데이터 적재 과정중 의견 주시면 감사하겠습니다.
환경 문제로 인하여 Oracle Cloud Vm 서버 3개를 별도로 띄어 실습 환경을 구성하였습니다.문제는 Hbase 에 적재가 안된다는 것입니다.일단 환경구성에서 모든 모듈들을 latest기준으로 구성을하여서 강의내용과는 다를수가 있을듯한데요.데이터 수집 적재 파이프라인 에서 kafka 까지 들어오는것은 확인하였으나 storm 토폴로지에서 kafkaspout 에서 반응이 없는것으로 봤을때 bigdata.smartcar.storm-1.0.jar 에서 바라보는 어떠한 환경설정정보가 맞지 않아 생긴문제로 생각이되어 소스를 봤으나 별다르게 찾은것은 없습니다.zookeeper cli 에서는 kafa producer 노드가 있는것은 확인했고 SmartCar-Topic 노드는 없는것으로 확인했습니다.혹시 놓친부분이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
하둡 연결 문제...Connection refused + 클라우데라 접속 안되는 문제
안녕하세요, 빅디님!차근차근 따라하려고 하는데.. 한 강 한강 막히고 있습니다.. 하둡과 주키퍼 명령 사용해보기 강의보며 실습중인데,명령어가 먹히지 않습니다.. 연결이 안되는 에러로 보여서 클라우데라 접속하려고 했더니 클라우데라도 접속이 안됩니다. 빅데이터 클러스터 구성 4 강의 까지는 다 따라한 상태입니다. 클라우데라 접속해서 하둡과 주키퍼 설치까지 완료하였고 일주일? 지난 후 다시 접속해서 그 이후 과정 따라하려고 하니 접속에러 & 연결에러가 뜨고 있습니다............ ㅠㅠ 막힘없이 쭉쭉 나가고 싶은데 ,, 대체 무슨문제일까요 ? 저 같은 에러를 경험하신 분이 있을까 싶어 이전 질문글을 살펴봤는데 파일럿 PC의 용량이 존재해야 한다고 하여 정리도 하고, 실행했습니다.많이 사용하긴 했지만 212GB가 남아있는 상황입니다.. 실습 쭉 따라하고 싶습니다..빅디님.....ㅠ_ㅠ!! ++로그 확인이상 없음.(참고로 모바텀을 사용하고 있어서 파일질라는 사용안하고 모바텀으로 바로 Sample.txt -> /home/bigdata 로 올렸습니다. 파일 잘 올라온 것 확인했습니다.) 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
가상서버 설치 및 시작 에러 문의
안녕하세요, 빅디님 ! 좋은강의 감사합니다.가상서버 설치 + 설정에서 문제가 있어 질문남깁니다.macOS에서 M1칩을 탑재한 모델을 사용중인데, 최신버전의 virtualbox만 설치가 됩니다.(이하 버전은 설치조차 되지 않습니다..ㅠ)설치는 되었으나 청천벽력같이.... 최신버전의 버츄얼박스에서는 server01/02가 시작이 되질 않습니다.네트워크 구성 에러로 보입니다. [에러 전문]===Host-only adapters are no longer supported!For your convenience a host-only network named 'Legacy Network' has been created with network mask '255.255.255.0' and IP address range '192.168.56.1' - '192.168.56.254'.===이러한 경우에 유일한 해결방법은 최신버전의 VM을 설치하고 네트워크 구성을 하지 않아야 시작이 되는 것으로 파악했습니다. 서버에 네트워크가 없다면 의미가 없어보입니다..이 수업에서는 네트워크 구성이 필수일까요?혹은 다른 방법(가상화 서버 등) 아신다면 말씀 부탁드리겠습니다!!감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
가상서버 이미지 다운 에러
가상서버 이미지 다운시 전체 용량을 다운로드 못받네요.확인 후 다시 링크 주시면 감사하겠습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
서버 메모리 문제
안녕하세요~선생님,강의를 잘 해 주셔서 현재 RStudio를 진행하고 있는데 클라우라가 작동 되지 않습니다.강의 후반에 오면서 메모리 문제가 발생했는데 어떻게 조치해야 합니까?이전에 질문 조회를 해서 불필요한 파일 삭제하고,hadoop fs -setrep 1 /명령도 실행해 보았습니다.클라우데라 현상태는 아래와 같습니다,, 제 PC사양은 RAM 32GB이고 아래와 같습니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
너무 좋은 강의 완강하고 싶은데 연장가능할까요?
안녕하세요.빅디님의 책과 강의로 열심히 따라가고 있는데 여러 업무를 병행하다보니 강의의 반도 진행하지 못했습니다. 강의를 들으면 정말 제가 알지 못했던 분야를 너무 쉽게 알아가는 기쁨에 가슴이 뛰는데 업무에 치이면서 살다보니 어느덧 강의 만료일이 다가 왔습니다.혹시 기간 연장을 조금 더 해주실수 있다면 부탁드리겠습니다.이 강의는 꼭 완료하고 싶습니다.부탁드리겠습니다. 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
spark-sql smart_master_df.show() 실행 시 오류
안녕하세요 지금까지 강의 잘 따라오고 있었는데요 spark ssh 접속하여 shell 실행 후 smartcar_master_df 생성까지 잘 되었는데 smartcar_master_df 조회를 하면 아래와 같은 오류가 발생합니다. 구글링해서 찾아봐도 해결이 안되는데 도움 부탁드립니다. >> 오류메세지 >> WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
- 미해결15일간의 빅데이터 파일럿 프로젝트
수강 연장 신청 가능할까요?
안녕하세요. 업무를 병행하면서 학습을 하기 쉽지가 않네요... 혹시 연장 신청이 가능할지 궁금해서 문의 남깁니다. 가능하다면 꼭 좀 부탁드리겠습니다. 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
[과제 1 에러] Subject 2 실패. 해결하고 계속 진행하고 싶습니다!
워크플로우는 받은 파일 그대로 넣어서 다음과 같습니다. working_day car-batch-log가 다음과 같습니다. 에러메시지는 이렇고 Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 로그는 다음과 같습니다.2023-03-10 10:42:47,347 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[] No results found 2023-03-10 10:42:47,393 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] Start action [0000001-230310103158623-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:42:47,397 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] Starting action 2023-03-10 10:42:47,638 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] [***0000001-230310103158623-oozie-oozi-W@:start:***]Action status=DONE 2023-03-10 10:42:47,639 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] [***0000001-230310103158623-oozie-oozi-W@:start:***]Action updated in DB! 2023-03-10 10:42:47,656 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] Action ended with external status [OK] 2023-03-10 10:42:47,691 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] No results found 2023-03-10 10:42:47,718 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@:start: 2023-03-10 10:42:47,723 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W 2023-03-10 10:42:47,769 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Start action [0000001-230310103158623-oozie-oozi-W@hive-02d7] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:42:47,772 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Starting action. Getting Action File System 2023-03-10 10:42:52,218 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2023-03-10 10:42:52,218 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2023-03-10 10:42:52,922 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] checking action, hadoop job ID [application_1678411853306_0005] status [RUNNING] 2023-03-10 10:42:52,933 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] [***0000001-230310103158623-oozie-oozi-W@hive-02d7***]Action status=RUNNING 2023-03-10 10:42:52,933 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] [***0000001-230310103158623-oozie-oozi-W@hive-02d7***]Action updated in DB! 2023-03-10 10:42:52,941 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-02d7 2023-03-10 10:43:01,536 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] callback for action [0000001-230310103158623-oozie-oozi-W@hive-02d7] 2023-03-10 10:43:01,961 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] action completed, external ID [application_1678411853306_0005] 2023-03-10 10:43:01,997 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Action ended with external status [SUCCEEDED] 2023-03-10 10:43:02,041 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] No results found 2023-03-10 10:43:02,095 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Start action [0000001-230310103158623-oozie-oozi-W@hive-b93d] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:43:02,100 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Starting action. Getting Action File System 2023-03-10 10:43:04,515 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2023-03-10 10:43:04,515 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2023-03-10 10:43:05,956 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] checking action, hadoop job ID [application_1678411853306_0006] status [RUNNING] 2023-03-10 10:43:05,978 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] [***0000001-230310103158623-oozie-oozi-W@hive-b93d***]Action status=RUNNING 2023-03-10 10:43:05,978 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] [***0000001-230310103158623-oozie-oozi-W@hive-b93d***]Action updated in DB! 2023-03-10 10:43:05,999 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-b93d 2023-03-10 10:43:06,003 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-02d7 2023-03-10 10:44:00,881 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] callback for action [0000001-230310103158623-oozie-oozi-W@hive-b93d] 2023-03-10 10:44:01,141 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] External Child IDs : [job_1678411853306_0007] 2023-03-10 10:44:01,145 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] action completed, external ID [application_1678411853306_0006] 2023-03-10 10:44:01,207 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Action ended with external status [SUCCEEDED] 2023-03-10 10:44:01,271 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] No results found 2023-03-10 10:44:01,589 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Start action [0000001-230310103158623-oozie-oozi-W@hive-d326] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:44:01,592 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Starting action. Getting Action File System 2023-03-10 10:44:04,228 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2023-03-10 10:44:04,230 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2023-03-10 10:44:05,032 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] checking action, hadoop job ID [application_1678411853306_0008] status [RUNNING] 2023-03-10 10:44:05,036 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] [***0000001-230310103158623-oozie-oozi-W@hive-d326***]Action status=RUNNING 2023-03-10 10:44:05,036 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] [***0000001-230310103158623-oozie-oozi-W@hive-d326***]Action updated in DB! 2023-03-10 10:44:05,042 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-d326 2023-03-10 10:44:05,042 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-b93d 2023-03-10 10:44:13,249 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] callback for action [0000001-230310103158623-oozie-oozi-W@hive-d326] 2023-03-10 10:44:13,716 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] action completed, external ID [application_1678411853306_0008] 2023-03-10 10:44:13,727 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 2023-03-10 10:44:13,751 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Action ended with external status [FAILED/KILLED] 2023-03-10 10:44:13,754 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] ERROR is considered as FAILED for SLA 2023-03-10 10:44:13,788 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] No results found 2023-03-10 10:44:13,815 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] Start action [0000001-230310103158623-oozie-oozi-W@Kill] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:44:13,827 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] Starting action 2023-03-10 10:44:13,831 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] [***0000001-230310103158623-oozie-oozi-W@Kill***]Action status=DONE 2023-03-10 10:44:13,831 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] [***0000001-230310103158623-oozie-oozi-W@Kill***]Action updated in DB! 2023-03-10 10:44:13,859 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] Action ended with external status [OK] 2023-03-10 10:44:14,218 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@Kill 2023-03-10 10:44:14,218 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W 2023-03-10 10:44:14,218 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-d326추가로 다른 질문에서 본 해결책으로 권한 설정을 하니 이렇게 뜹니다.
- 해결됨15일간의 빅데이터 파일럿 프로젝트
5 빅데이터 클러스터 구성2 -기본SW 설치 7분 23초 주키퍼 정
주키퍼 설정을 data node인 서버 02로 선택하는 건가요? 말이 끊겨서 안들리네요.그리고 이유를 알고 싶습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
실습에서 fsck와 report , rm 명령어 사용결과가 상이합니다.
하둡 파일 시스템 검사의 fsck 및 report , rm등 명령어를 사용해보는 도중에강사님이 하신 결과와 다른 결과가 나오는데 이유를 알수 있을까요? 권한 설정해야는게 따로있나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
실습하면서 문득 궁금해진점
안녕하세요.강의를 들으며 jar 프로그램(자바 기반 프로그램)들이 플럼에 의존되는것을 확인할 수 있었는데,이것을 파이썬 코드로 바꿔서 conf를 변경해도 동작이 되는걸까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다.
가상머신을 돌리려는데 이런 오류가 뜹니다. "시스템에서 VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다. 64비트 게스트가 64비트 CPU를 인식할 수 없으며 부팅할 수 없을 것입니다." 혹시 해결하신분 계실까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
강의 수강 연장 부탁드립니다
강사님 안녕하세요,제가 대학원과 직장을 병행하다보니 강의를 신청해놓고 신경쓰지 못했습니다ㅠㅠ 연장해주신다면 꼭 완강하고싶습니다! 감사합니다, 새해복 많이받으세요!!!
- 해결됨15일간의 빅데이터 파일럿 프로젝트
virtualBox 서버구성 질문드립니다.
안녕하세요 서버구성 강의를 보다가 서버 OS 구조가 궁금하여 질문드립니다.서버가 아래 그림 같이 리눅스 기반위에 centOS가 구동되는 것으로 이해해도 될까요? 서버에서 생성된 계정들은 각각의 OS를 대표한다고 봐도 될까요? ex root : linux / server1 : centOS서버에 대해서 기본 지식이 없는 상태라 기본 지식을 얻으려면 어떤 자료를 보면 좋을지 추천 부탁드립니다. ㅠ
- 해결됨15일간의 빅데이터 파일럿 프로젝트
macOS 에서 server 1 실행시 에러가 발생합니다.
안녕하세요 macOS에서 virtualBox Server 구동에러 해결 방법 조언 부탁드립니다.server 1 실행시 physical network interface를 찾지 못하는 에러가 발생합니다.해결방법을 찾아봐도 이해가 안되서 대응이 어려운 상태입니다. 조언 좀 부탁드립니다..아래는 server1의 네트워크 설정 상태입니다.. 진짜 너무 막막하네요.. 그리고 강의 자료중에 macOS에서 환경구성하는 자료는 없을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
여러가지 질문드립니다.
안녕하세요^^강의를 1회독 마무리하고 2회독 시작 전에 내용을 정리하고 있는데, 강의들을때는 넘어갔던 것들 중에 이해가 안가는 것들이 많네요ㅠ. 구굴링을 해봐도 이해가 안가는 내용을 질문드립니다.질문이 좀 많습니다.1. 소프트웨어 아키텍처 그림에서 플럼이 배치데이터를 하둡에 보낸다고 되어있는데, 정확히는 플럼이 보낸 데이터를 HDFS가 블록화 및 복제하여 분산된 x86 컴퓨터들에 저장하는 것인가요?2_1. HBase의 HFile에 있던 데이터가 HDFS에 저장될때 128mb 단위로 블록화 및 복제되어 분산 저장되는건가요?2_2. 빠른 데이터 억세스를 위해 HBase가 가지고 있다면 모르겠지만 데이터들이 결국 HDFS에 저장된다면, HBase는 왜 설치하는건지 모르겠습니다.2_3. 2번째 질문과 비슷한 내용인데, 둘다 데이터를 분산저장한다면 HBase와 HDFS가 비슷한거 같은데, 어떤 차이가 있는 건가요?2_3. 카산드라 및 몽고DB를 HBase 대신 사용할 수 도 있는건가요?2_4. HBase도 DBMS로써 SQL을 활용한 데이터의 CRUD가 가능한가요? 아니면 맵리듀스 프로그래밍을 해야하는건가요.3. Map/Reduce는 따로 설치하지 않았습니다. 그럼 Map/Reduce는 따로 설치하는 프로그램이 아닌 분산데이터 처리 방식, 즉 각 프로그램에서 함수로 구현해서 실행하는 것 정도로 이해하면되나요?4_1. Managed 데이터를 만들때, 사용자가 하이브에 SQL문 입력 → 하이브는 이를 맵리듀스 코드로 변환하여 HDFS에 명령을 내림 → HDFS는 분산서버의 CPU에 명령을 내리고 그 처리결과를 합쳐 하이브에 반환 → 이를 사용자에 반환하는 것으로 이해했습니다. 이게 맞나요?4_2. 맞다면 파일럿프로젝트에서는 Managed table들이 저장되어 있는 데이터마트라는 저장공간(서버)이 따로 존재하는 것이 아니고 그때그때 결과 테이블을 출력해주는 건가요?4_3. 실무에서는 데이터마트만을 위한 서버를 따로 구축하나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
카프카 Consumer 작동 에러 (p.134)
안녕하세요 수강 중 아래 실습 진행이 어려워 질문 드립니다.수집 파일럿 실행 5단계에서 카프카 Consumer 작동 실습시 Resetting offset 문구가 뜨며 데이터 확인이 안됩니다.시뮬레이터 재실행 및 스마트카 상태 정보 다시 옮겨 보았지만 안되었습니다.car-batch-log 를 확인했을때 위와 같이 뜨는데 상관없는지 궁금합니다.[오류문구][root@server02 ~]# kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 023/01/09 18:47:52 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean23/01/09 18:47:52 INFO consumer.ConsumerConfig: ConsumerConfig values:auto.commit.interval.ms = 5000auto.offset.reset = latestbootstrap.servers = [server02.hadoop.com:9092]check.crcs = trueclient.dns.lookup = defaultclient.id =connections.max.idle.ms = 540000default.api.timeout.ms = 60000enable.auto.commit = falseexclude.internal.topics = truefetch.max.bytes = 52428800fetch.max.wait.ms = 500fetch.min.bytes = 1group.id = console-consumer-96835heartbeat.interval.ms = 3000interceptor.classes = []internal.leave.group.on.close = trueisolation.level = read_uncommittedkey.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializermax.partition.fetch.bytes = 1048576max.poll.interval.ms = 300000max.poll.records = 500metadata.max.age.ms = 300000metric.reporters = []metrics.num.samples = 2metrics.recording.level = INFOmetrics.sample.window.ms = 30000partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor]receive.buffer.bytes = 65536reconnect.backoff.max.ms = 1000reconnect.backoff.ms = 50request.timeout.ms = 30000retry.backoff.ms = 100sasl.client.callback.handler.class = nullsasl.jaas.config = nullsasl.kerberos.kinit.cmd = /usr/bin/kinitsasl.kerberos.min.time.before.relogin = 60000sasl.kerberos.service.name = nullsasl.kerberos.ticket.renew.jitter = 0.05sasl.kerberos.ticket.renew.window.factor = 0.8sasl.login.callback.handler.class = nullsasl.login.class = nullsasl.login.refresh.buffer.seconds = 300sasl.login.refresh.min.period.seconds = 60sasl.login.refresh.window.factor = 0.8sasl.login.refresh.window.jitter = 0.05sasl.mechanism = GSSAPIsecurity.protocol = PLAINTEXTsend.buffer.bytes = 131072session.timeout.ms = 10000ssl.cipher.suites = nullssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1]ssl.endpoint.identification.algorithm = nullssl.key.password = nullssl.keymanager.algorithm = SunX509ssl.keystore.location = nullssl.keystore.password = nullssl.keystore.type = JKSssl.protocol = TLSssl.provider = nullssl.secure.random.implementation = nullssl.trustmanager.algorithm = PKIXssl.truststore.location = nullssl.truststore.password = nullssl.truststore.type = JKSvalue.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.223/01/09 18:47:53 INFO utils.AppInfoParser: Kafka commitId: unknown23/01/09 18:47:53 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-96835] Subscribed to partition(s): SmartCar-Topic-023/01/09 18:47:53 INFO clients.Metadata: Cluster ID: AWKsMltnSBSo2f2sVF2P-g23/01/09 18:47:53 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-96835] Resetting offset for partition SmartCar-Topic-0 to offs et 14.감사합니다.