173만명의 커뮤니티!! 함께 토론해봐요.
미해결
15일간의 빅데이터 파일럿 프로젝트
강의에서는 호환문제때문에 5.0 설치하라고 하셨는데 제 노트북에서 설치 후 실행 자체가 되지 않아 virtualbox 6.1.44를 다운받았습니다. 근데 네트워크 설정에서 호스트 전용 네트워크 칸이 뜨지 않아서요. 어떻게 들어가서 설정해야할까요? 저장
미해결
15일간의 빅데이터 파일럿 프로젝트
VM Name: Server01 Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND). Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND). Result Code: E_FAIL (0X80004005) Component: ConsoleWrap Interface: IConsole {6ac83d89-6ee7-4e33-8ae6-b257b2e81be8} 이런 오류가 뜨는데 어떻게 해결하면 좋을까요?? 구글링 해보니 host-only-ethernet을 새로만들고 다시 해보라고 하던데 그 방법도 되지 않습니다. Virtualbox 버전은 7.0.8 최신버전입니다.
해결됨
15일간의 빅데이터 파일럿 프로젝트
환경 문제로 인하여 Oracle Cloud Vm 서버 3개를 별도로 띄어 실습 환경을 구성하였습니다. 문제는 Hbase 에 적재가 안된다는 것입니다. 일단 환경구성에서 모든 모듈들을 latest기준으로 구성을하여서 강의내용과는 다를수가 있을듯한데요. 데이터 수집 적재 파이프라인 에서 kafka 까지 들어오는것은 확인하였으나 storm 토폴로지에서 kafkaspout 에서 반응이 없는것으로 봤을때 bigdata.smartcar.storm-1.0.jar 에서 바라보는 어떠한 환경설정정보가 맞지 않아 생긴문제로 생각이되어 소스를 봤으나 별다르게 찾은것은 없습니다. zookeeper cli 에서는 kafa producer 노드가 있는것은 확인했고 SmartCar-Topic 노드는 없는것으로 확인했습니다. 혹시 놓친부분이 있을까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 빅디님! 차근차근 따라하려고 하는데.. 한 강 한강 막히고 있습니다.. 하둡과 주키퍼 명령 사용해보기 강의보며 실습중인데, 명령어가 먹히지 않습니다.. 연결이 안되는 에러로 보여서 클라우데라 접속하려고 했더니 클라우데라도 접속이 안됩니다. 빅데이터 클러스터 구성 4 강의 까지는 다 따라한 상태입니다. 클라우데라 접속해서 하둡과 주키퍼 설치까지 완료하였고 일주일? 지난 후 다시 접속해서 그 이후 과정 따라하려고 하니 접속에러 & 연결에러가 뜨고 있습니다............ ㅠㅠ 막힘없이 쭉쭉 나가고 싶은데 ,, 대체 무슨문제일까요 ? 저 같은 에러를 경험하신 분이 있을까 싶어 이전 질문글을 살펴봤는데 파일럿 PC의 용량이 존재해야 한다고 하여 정리도 하고, 실행했습니다. 많이 사용하긴 했지만 212GB가 남아있는 상황입니다.. 실습 쭉 따라하고 싶습니다..빅디님.....ㅠ_ㅠ!! ++ 로그 확인 이상 없음. (참고로 모바텀을 사용하고 있어서 파일질라는 사용안하고 모바텀으로 바로 Sample.txt -> /home/bigdata 로 올렸습니다. 파일 잘 올라온 것 확인했습니다.) 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 빅디님 ! 좋은강의 감사합니다. 가상서버 설치 + 설정에서 문제가 있어 질문남깁니다. macOS에서 M1칩을 탑재한 모델을 사용중인데, 최신버전의 virtualbox만 설치가 됩니다. (이하 버전은 설치조차 되지 않습니다..ㅠ) 설치는 되었으나 청천벽력같이.... 최신버전의 버츄얼박스에서는 server01/02가 시작이 되질 않습니다. 네트워크 구성 에러로 보입니다. [에러 전문] === Host-only adapters are no longer supported! For your convenience a host-only network named 'Legacy Network' has been created with network mask '255.255.255.0' and IP address range '192.168.56.1' - '192.168.56.254'. === 이러한 경우에 유일한 해결방법은 최신버전의 VM을 설치하고 네트워크 구성을 하지 않아야 시작이 되는 것으로 파악했습니다. 서버에 네트워크가 없다면 의미가 없어보입니다.. 이 수업에서는 네트워크 구성이 필수일까요? 혹은 다른 방법(가상화 서버 등) 아신다면 말씀 부탁드리겠습니다!! 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
가상서버 이미지 다운시 전체 용량을 다운로드 못받네요. 확인 후 다시 링크 주시면 감사하겠습니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요~선생님, 강의를 잘 해 주셔서 현재 RStudio를 진행하고 있는데 클라우라가 작동 되지 않습니다. 강의 후반에 오면서 메모리 문제가 발생했는데 어떻게 조치해야 합니까? 이전에 질문 조회를 해서 불필요한 파일 삭제하고, hadoop fs -setrep 1 /명령도 실행해 보았습니다. 클라우데라 현상태는 아래와 같습니다,, 제 PC사양은 RAM 32GB이고 아래와 같습니다
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 빅디님의 책과 강의로 열심히 따라가고 있는데 여러 업무를 병행하다보니 강의의 반도 진행하지 못했습니다. 강의를 들으면 정말 제가 알지 못했던 분야를 너무 쉽게 알아가는 기쁨에 가슴이 뛰는데 업무에 치이면서 살다보니 어느덧 강의 만료일이 다가 왔습니다. 혹시 기간 연장을 조금 더 해주실수 있다면 부탁드리겠습니다. 이 강의는 꼭 완료하고 싶습니다. 부탁드리겠습니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 지금까지 강의 잘 따라오고 있었는데요 spark ssh 접속하여 shell 실행 후 smartcar_master_df 생성까지 잘 되었는데 smartcar_master_df 조회를 하면 아래와 같은 오류가 발생합니다. 구글링해서 찾아봐도 해결이 안되는데 도움 부탁드립니다. >> 오류메세지 >> WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 업무를 병행하면서 학습을 하기 쉽지가 않네요... 혹시 연장 신청이 가능할지 궁금해서 문의 남깁니다. 가능하다면 꼭 좀 부탁드리겠습니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
워크플로우는 받은 파일 그대로 넣어서 다음과 같습니다. working_day car-batch-log가 다음과 같습니다. 에러메시지는 이렇고 Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 로그는 다음과 같습니다. 2023-03-10 10:42:47,347 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[] No results found 2023-03-10 10:42:47,393 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] Start action [0000001-230310103158623-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:42:47,397 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] Starting action 2023-03-10 10:42:47,638 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] [***0000001-230310103158623-oozie-oozi-W@:start:***]Action status=DONE 2023-03-10 10:42:47,639 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] [***0000001-230310103158623-oozie-oozi-W@:start:***]Action updated in DB! 2023-03-10 10:42:47,656 INFO org.apache.oozie.action.control.StartActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] Action ended with external status [OK] 2023-03-10 10:42:47,691 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] No results found 2023-03-10 10:42:47,718 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@:start:] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@:start: 2023-03-10 10:42:47,723 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W 2023-03-10 10:42:47,769 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Start action [0000001-230310103158623-oozie-oozi-W@hive-02d7] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:42:47,772 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Starting action. Getting Action File System 2023-03-10 10:42:52,218 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2023-03-10 10:42:52,218 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2023-03-10 10:42:52,922 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] checking action, hadoop job ID [application_1678411853306_0005] status [RUNNING] 2023-03-10 10:42:52,933 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] [***0000001-230310103158623-oozie-oozi-W@hive-02d7***]Action status=RUNNING 2023-03-10 10:42:52,933 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] [***0000001-230310103158623-oozie-oozi-W@hive-02d7***]Action updated in DB! 2023-03-10 10:42:52,941 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-02d7 2023-03-10 10:43:01,536 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] callback for action [0000001-230310103158623-oozie-oozi-W@hive-02d7] 2023-03-10 10:43:01,961 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] action completed, external ID [application_1678411853306_0005] 2023-03-10 10:43:01,997 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] Action ended with external status [SUCCEEDED] 2023-03-10 10:43:02,041 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] No results found 2023-03-10 10:43:02,095 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Start action [0000001-230310103158623-oozie-oozi-W@hive-b93d] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:43:02,100 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Starting action. Getting Action File System 2023-03-10 10:43:04,515 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2023-03-10 10:43:04,515 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2023-03-10 10:43:05,956 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] checking action, hadoop job ID [application_1678411853306_0006] status [RUNNING] 2023-03-10 10:43:05,978 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] [***0000001-230310103158623-oozie-oozi-W@hive-b93d***]Action status=RUNNING 2023-03-10 10:43:05,978 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] [***0000001-230310103158623-oozie-oozi-W@hive-b93d***]Action updated in DB! 2023-03-10 10:43:05,999 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-b93d 2023-03-10 10:43:06,003 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-02d7] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-02d7 2023-03-10 10:44:00,881 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] callback for action [0000001-230310103158623-oozie-oozi-W@hive-b93d] 2023-03-10 10:44:01,141 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] External Child IDs : [job_1678411853306_0007] 2023-03-10 10:44:01,145 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] action completed, external ID [application_1678411853306_0006] 2023-03-10 10:44:01,207 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] Action ended with external status [SUCCEEDED] 2023-03-10 10:44:01,271 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] No results found 2023-03-10 10:44:01,589 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Start action [0000001-230310103158623-oozie-oozi-W@hive-d326] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:44:01,592 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Starting action. Getting Action File System 2023-03-10 10:44:04,228 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Invalid configuration value [null] defined for launcher max attempts count, using default [2]. 2023-03-10 10:44:04,230 INFO org.apache.oozie.action.hadoop.YarnACLHandler: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Not setting ACLs because mapreduce.cluster.acls.enabled is set to false 2023-03-10 10:44:05,032 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] checking action, hadoop job ID [application_1678411853306_0008] status [RUNNING] 2023-03-10 10:44:05,036 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] [***0000001-230310103158623-oozie-oozi-W@hive-d326***]Action status=RUNNING 2023-03-10 10:44:05,036 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] [***0000001-230310103158623-oozie-oozi-W@hive-d326***]Action updated in DB! 2023-03-10 10:44:05,042 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-d326 2023-03-10 10:44:05,042 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-b93d] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-b93d 2023-03-10 10:44:13,249 INFO org.apache.oozie.servlet.CallbackServlet: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] callback for action [0000001-230310103158623-oozie-oozi-W@hive-d326] 2023-03-10 10:44:13,716 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] action completed, external ID [application_1678411853306_0008] 2023-03-10 10:44:13,727 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 2023-03-10 10:44:13,751 INFO org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] Action ended with external status [FAILED/KILLED] 2023-03-10 10:44:13,754 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] ERROR is considered as FAILED for SLA 2023-03-10 10:44:13,788 INFO org.apache.oozie.service.JPAService: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] No results found 2023-03-10 10:44:13,815 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] Start action [0000001-230310103158623-oozie-oozi-W@Kill] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 2023-03-10 10:44:13,827 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] Starting action 2023-03-10 10:44:13,831 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] [***0000001-230310103158623-oozie-oozi-W@Kill***]Action status=DONE 2023-03-10 10:44:13,831 INFO org.apache.oozie.command.wf.ActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] [***0000001-230310103158623-oozie-oozi-W@Kill***]Action updated in DB! 2023-03-10 10:44:13,859 INFO org.apache.oozie.action.control.KillActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject 2 - Workflow] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] Action ended with external status [OK] 2023-03-10 10:44:14,218 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@Kill] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@Kill 2023-03-10 10:44:14,218 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W 2023-03-10 10:44:14,218 INFO org.apache.oozie.command.wf.WorkflowNotificationXCommand: SERVER[server02.hadoop.com] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000001-230310103158623-oozie-oozi-W] ACTION[0000001-230310103158623-oozie-oozi-W@hive-d326] No Notification URL is defined. Therefore nothing to notify for job 0000001-230310103158623-oozie-oozi-W@hive-d326 추가로 다른 질문에서 본 해결책으로 권한 설정을 하니 이렇게 뜹니다.
해결됨
15일간의 빅데이터 파일럿 프로젝트
주키퍼 설정을 data node인 서버 02로 선택하는 건가요? 말이 끊겨서 안들리네요. 그리고 이유를 알고 싶습니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 강의를 들으며 jar 프로그램(자바 기반 프로그램)들이 플럼에 의존되는것을 확인할 수 있었는데, 이것을 파이썬 코드로 바꿔서 conf를 변경해도 동작이 되는걸까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
가상머신을 돌리려는데 이런 오류가 뜹니다. "시스템에서 VT-x/AMD-V 하드웨어 가속을 사용할 수 없습니다. 64비트 게스트가 64비트 CPU를 인식할 수 없으며 부팅할 수 없을 것입니다." 혹시 해결하신분 계실까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
강사님 안녕하세요, 제가 대학원과 직장을 병행하다보니 강의를 신청해놓고 신경쓰지 못했습니다ㅠㅠ 연장해주신다면 꼭 완강하고싶습니다! 감사합니다, 새해복 많이받으세요!!!
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 수강 중 아래 실습 진행이 어려워 질문 드립니다. 수집 파일럿 실행 5단계에서 카프카 Consumer 작동 실습시 Resetting offset 문구가 뜨며 데이터 확인이 안됩니다. 시뮬레이터 재실행 및 스마트카 상태 정보 다시 옮겨 보았지만 안되었습니다. car-batch-log 를 확인했을때 위와 같이 뜨는데 상관없는지 궁금합니다. [오류문구] [root@server02 ~]# kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 0 23/01/09 18:47:52 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean 23/01/09 18:47:52 INFO consumer.ConsumerConfig: ConsumerConfig values: auto.commit.interval.ms = 5000 auto.offset.reset = latest bootstrap.servers = [ server02.hadoop.com:9092 ] check.crcs = true client.dns.lookup = default client.id = connections.max.idle.ms = 540000 default.api.timeout.ms = 60000 enable.auto .commit = false exclude.internal.topics = true fetch.max.bytes = 52428800 fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = console-consumer-96835 heartbeat.interval.ms = 3000 interceptor.classes = [] internal.leave.group .on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializer max.partition.fetch.bytes = 1048576 max.poll.interval.ms = 300000 max.poll.records = 500 metadata.max.age.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor] receive.buffer.bytes = 65536 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.mechanism = GSSAPI security.protocol = PLAINTEXT send.buffer.bytes = 131072 session.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1] ssl.endpoint.identification.algorithm = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLS ssl.provider = null ssl.secure .random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS value.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 23/01/09 18:47:53 INFO utils.AppInfoParser: Kafka commitId: unknown 23/01/09 18:47:53 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-96835] Subscribed to partition(s): SmartCar-Topic-0 23/01/09 18:47:53 INFO clients.Metadata: Cluster ID: AWKsMltnSBSo2f2sVF2P-g 23/01/09 18:47:53 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-96835] Resetting offset for partition SmartCar-Topic-0 to offs et 14. 감사합니다.
해결됨
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 15일간의 빅데이터 파일럿 프로젝트 강의 수강생입니다. 유익한 강의 감사합니다. 설명을 잘해주셔서 큰 어려움 없이 듣고 있습니다. 다만, VM 환경 구성 중 로그인 관련 문제 가 생겨서 질문드립니다. Server01과 Server02 에서 모두 로그인을 요청 하고 있으며, 다음 단계 로 진행할 수 없습니다. 윈도우11 PC에서 Virtual Box 버전은 VirtualBox 6.1.40 입니다. 강의와 동일한 5 버전이 지원되지 않아서 가장 가까운 6.1.40 버전 과 최신 7 버전 으로 설치했습니다. C, D 드라이브 용량은 200GB 이상 여유공간이 있으며, SSD입니다. 아래는 과거 게시판 질문 답변과 구글링을 바탕으로 시도한 방법입니다. Virtual Box 삭제 및 설치 - 6, 7 버전 모두 시도 / Server01, Server02 파일 재다운로드 -> Host-Only Ethernet Adapter를 찾지 못하는 경우가 있었으나, Virtual Box의 Host-Only Ethernet Adapter 재설정 후 접속해도 로그인창이 나왔습니다. Host-Only Ethernet Adapter 에러 Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter' (VERR_INTNET_FLT_IF_NOT_FOUND). Failed to attach the network LUN (VERR_INTNET_FLT_IF_NOT_FOUND). 결과 코드: E_FAIL (0x80004005) 구성 요소: ConsoleWrap 인터페이스: IConsole {872da645-4a9b-1727-bee2-5585105b9eed} -> 해당 에러는 새로운 Host-Only Ethernet Adapter를 추가하여 해결되었습니다. ->Server02, 01 순서로 실행하고, 각각 하나씩 실행도 했습니다. 윈도우 제어판 Host-Only Ethernet Adapter 설정 -> 윈도우 제어판 네트워크 설정에서 Host-Only Ethernet Adapter 사용 안함으로 설정하고, 재설치하였으나 로그인창 문제가 해결되지 않았습니다. 현재 Virtual Box 네트워크 환경 설정입니다. 관련이 있는지는 모르겠지만, VBoxNetDHCP 프로세스 종료 후에도 진행하였으나 동일한 현상이 발생했습니다. 해당 문제를 해결할 방법 또는 추가로 시도할 방법이 있을까요? 답변 기다리겠습니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
부록_실무로 배우는 빅데이터 기술-확장하기(유튜브 강의) 강의 교안 PPT를 받고 싶습니다 제공 가능한지 문의드립니다
미해결
실전! 스프링 데이터 JPA
JPA같은 경우에는 관계형 데이터베이스와 객체를 서로 매핑할수있게 하는 프레임워크인걸로 알고있습니다 그러면 이때 MySQL, Oracle 같은 데이터베이스가 있는데 이때 이 데이터베이스는 RDB 기반인데, 그러면 빅데이터를 위해 사용하는 Impala, Hive 같은 DB는 MPP DB도 JPA 프레임워크를 사용이 가능할까요?
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요! 좋은 강의 잘 보고 있습니다~ 제플린 파트에서 다음과 같은 오류를 만나게되었는데 혹시 제가 놓친 부분이 있을까요?? 오류 메세지만으로는 알기가 좀 어렵네요 ㅠ 작성 내용은 예제 소스에서 biz_date 부분만 바꾸었습니다.
