월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
hive로 파일을 만들고 다시 hdfs에 넣는 과정에 대해 궁금합니다.
안녕하세요~ 좋은 강의 너무 잘 듣고 있습니다. 다 이해하진 못한 상태라 기본적인 질문이어도 이해해주시길 바랍니다. 처음 과정 중에 hive로 데이터를 불러와서 local에 저장 후 이를 다시 hdfs 에 넣는 hive->local->hdfs 부분에 대해 궁금합니다. hive -> hdfs로 넣으면 문제가 있나요?? local에 만든 후 다시 hdfs로 넣는 과정이 어째서 필요한지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
zeppelin 오류
안녕하세요! 좋은 강의 잘 보고 있습니다~ 제플린 파트에서 다음과 같은 오류를 만나게되었는데 혹시 제가 놓친 부분이 있을까요?? 오류 메세지만으로는 알기가 좀 어렵네요 ㅠ 작성 내용은 예제 소스에서 biz_date 부분만 바꾸었습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
smartcar_drive_info_2 테이블을 따로 만드는 이유
smartcar_drive_info_2 테이블을 다시 만드는 이유가 궁금합니다. 1. 이미 smartcar_drive_info 테이블이 있으며 hue에서 조회도 가능한데 _2를 붙여 새로운 테이블을 만드는 이유가 무엇인가요? 2. hbase에 적재되어있는 운행정보를 hive로 적재하기 위한 용도인가요? 그렇다면 hbase에 저장되어있는 정보를 활용하려고하면 매번 hive에 별도의 테이블을 만들어 저장해야 하는 걸까요?? workflow를 생성하기 위해 동일한 데이터로 유사한 테이블이 두 개씩 존재하는 건 비효율적인거 같아 제가 잘못이해하고 있는 듯 하여 질문드립니다!
- 미해결15일간의 빅데이터 파일럿 프로젝트
cm 설치 관련 질문
cm 설치는 server01에만 진행하면 되는건가요??
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hue HBase Thrift 서버 설정 관련 에러 문의드립니다!
HBase Thrift 설정 하고 재시작도 했었는데 Hue에는 적용이 안되어있는 거 같습니다. 전체를 중지하고 다시 시작해보기도 했고 가상 머신까지 다 종료해보고 다시 해봐도 none만 있고 생성되지가 않습니다...
- 미해결15일간의 빅데이터 파일럿 프로젝트
HDFS 미달 복제 블록 문제
다음과 같은 문제가 발생하여 검색을 해보니 복제계수를 2로 바꿔보라는 코멘트를 보고 변경을 해보았으나 여전히 저런 에러가 계속납니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
mv 명령 후 파일 삭제...
단순 질문 입니다만... mv 명령어로 파일을 옮기면 파일이 없어지네요 ... 혹시 원인을 알 수 있을까요 ?? [root@server02 working]# cd SmartCar/ [root@server02 SmartCar]# ls SmartCarStatusInfo_20220320.txt [root@server02 SmartCar]# ls -ltrh total 3.0M -rw-r--r-- 1 root root 3.0M Mar 21 04:30 SmartCarStatusInfo_20220320.txt [root@server02 SmartCar]# mv ./SmartCarStatusInfo_20220320.txt /home/pilot-pjt/working/car-batch-log/ [root@server02 SmartCar]# cd /home/pilot-pjt/working/car-batch-log/ [root@server02 car-batch-log]# ls [root@server02 car-batch-log]# ls -ltr total 0 [root@server02 car-batch-log]# cd .. [root@server02 working]# cd ./SmartCar/ [root@server02 working]# ls -ltr total 1396 -rwxrwxrwx 1 root root 1417133 Mar 9 15:31 bigdata.smartcar.loggen-1.0.jar drwxrwxrwx 2 root root 4096 Mar 9 15:32 driver-realtime-log -rwxrwxrwx 1 root root 0 Mar 21 04:54 ${sys:logFilename} drwxrwxrwx 2 root root 4096 Mar 21 04:54 SmartCar drwxrwxrwx 3 root root 4096 Mar 21 04:55 car-batch-log [root@server02 SmartCar]# ls p.s. 강의 기간이 오늘까지인데... 혹시 일주일 정도 더 연장이 가능할까요 ...?
- 해결됨15일간의 빅데이터 파일럿 프로젝트
Query시 메모리 문제
안녕하세요. 소중한 지식을 나눠주셔서 감사합니다. select * from smartcar_status_info limit 5; 이 쿼리는 정상실행되는데. select car_number, avg(battery) as battery_avg from smartcar_status_info where battery < 60 group by car_number; 이 Query를 실행하니 아래와 같이 메모리관련 문제가 생긴 것 같습니다. 강사님 영상을 보면 log파일이 2개인데. 저의 경우는 31개라서 hdfs에서 파일은 29개 옮겨놓고 2개만 남기고 쿼리를 실행해도 아래와 같은 메시지가 반복되네요. 두가지 질문입니다. 1. external location에 위치한 파일을 move시키면... move한 파일 개수만큼 hive테이블의 값이 자동으로 변경되는지? internal과 달리 external 은 관리가 되지 않는데... 그럼 refresh 같은 기능을 따로 적용시켜야 하는지? 메타정보를 변경?해야 하는지 2. cm에서 hive 관련 쿼리가 가능하도록 memory를 설정하는 방법을 알려주시면 감사하겠습니다. Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request! Cannot allocate containers as requested resource is greater than maximum allowed allocation. Requested resource type=[memory-mb], Requested resource=<memory:5120, vCores:1>, maximum allowed allocation=<memory:1024, vCores:1>, please note that maximum allowed allocation is calculated by scheduler based on maximum resource of registered NodeManagers, which might be less than configured maximum allocation=<memory:1536, vCores:1>
- 해결됨15일간의 빅데이터 파일럿 프로젝트
Storm - 자바 버전 호환성
안녕하세요. 강의를 너무 감사하게 듣고 있습니다. storm-1.2.3 을 사용하시고 java의 버전이 1.7일 경우 1.8로 맞춰 주셨는데요. 혹시 java 버전을 1.8보다 상위버전으로 사용하는 것은 문제없는지요? 구글링을 해보니 storm 1.2.3 버전에서 java 11 openjdk를 사용할 수 있는 것 같아서요. CM에서 java 11을 사용하고 있을 경우 storm을 상위버전으로 설치하는 것이 좋은지 조언부탁드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
가상서버 가동 문제
제가 파일럿 프로젝트 진행하고 있는데 저사양PC 환경 기준으로 설정했습니다. 그런데 server01에서는 cloudera 매니저가 정상 작동하고 있는데 server02에서는 아예 연결이 안되고 있습니다. 혹시나 해서 yum list 명령어를 입력했는데 cannot find a valid baseurl for repo: base 라는 에러 메시지가 나타납니다. 우선 windows/System32/drivers/etc/hosts 파일은 아래와 같이 셋팅했습니다. �? Copyright (c) 1993-2009 Microsoft Corp. # # This is a sample HOSTS file used by Microsoft TCP/IP for Windows. # # This file contains the mappings of IP addresses to host names. Each # entry should be kept on an individual line. The IP address should # be placed in the first column followed by the corresponding host name. # The IP address and the host name should be separated by at least one # space. # # Additionally, comments (such as these) may be inserted on individual # lines or following the machine name denoted by a '#' symbol. # # For example: # # 102.54.94.97 rhino.acme.com # source server # 38.25.63.10 x.acme.com # x client host # localhost name resolution is handled within DNS itself. # 127.0.0.1 localhost # ::1 localhost 192.168.56.101 server01.hadoop.com 192.168.56.102 server02.hadoop.com # Added by Docker Desktop 192.168.0.198 host.docker.internal 192.168.0.198 gateway.docker.internal # To allow the same kube context to work on the host and the container: 127.0.0.1 kubernetes.docker.internal # End of section 그리고 server01, server02 모두 호스트 네트워크 관리자 Virtualbox Host-Only Ethernet Adapter #2 에 연결한 상태이고, 어뎁터 설정과 DHCP 설정은 다음과 같이 했습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
고사양 pc Inspector 를 한 후에 결과...
(처음부터 다시 한번 해보겠습니다..) 클러스터에 있는 host들을 다 삭제하고 다시 host 추가를 한 상황입니다. inspector의 몇가지가 경고 문구가 뜬 것중에 ... 설명이나 꼭 교체되어야 하는 것이 있다면 코멘트 부탁드려도 될까요 ?!설정문제는 괜찮을 것 같은데,버전이 안맞는 것들은 수정이 필요해 보여서요 !! Supervisord, Java, Postgresql
- 미해결15일간의 빅데이터 파일럿 프로젝트
고사양 PC에서 JAVA 버전 문의
설치 실습 영상을 확인해 봤는데, java 버전이 1.7.0_181 -> 1.8.x 로 새로 설치를 하셨는데,고사양 pc에서는 1.7.0_181 이네요, 새로 설치를 해야 하나요 ???
- 미해결15일간의 빅데이터 파일럿 프로젝트
AIRFLOW
빅데이터 관련 최고의 강의와 책을 내주셔서 항상 감사합니다. 수업과 직접 관련된 질문은 아닌데요. 회사에서 데이터 엔지니어분들이 AIRFLOW라는 툴을 씁니다. 이건 혹시 어떤 기능을 하는지 아실까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
스트리밍 데이터 만들기
안녕하세요. 강의 잘 보았습니다.다름이 아니라 이번 프로젝트를 참고해서 스트리밍 데이터 처리 파이프라인을 구성해보려고 합니다. 제공해주신 jar 파일 말고 다른 스트리밍 데이터를 구성해보고싶습니다. 혹시 jar파일을 만든 소스코드를 오픈해주실 수있으실까요? 아니면 어떻게 해당 형식을 만들 수 있는지 공유해주시면 감사하겠습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
용량 관련 질문
혹시 D 에 70gb / C 에 40gb 확보한 상황인데, 어떤 파일들을 어느 위치에 깔아서 운영해야 할까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
고사양 pc용 통합 환경 클러스터 구성
안녕하세요 정말 단순한 질문이지만... 1. 고사양pc 환경으로 설치할 때 Cluster2로 설치가 되는데, 이대로 진행 되어도 되는 건가요 ?? 2. Cluster 2 로 추가해도 호스트 추가가 안되는데 방법이 있을까요 ?
- 미해결15일간의 빅데이터 파일럿 프로젝트
hue 구성 강의에서 mirrorlist.txt 설치 시 에러 질문드립니다.
echo "http://vault.centos.org/6.10/os/x86_64/" > /var/cache/yum/x86_64/6/base/mirrorlist.txt echo "http://vault.centos.org/6.10/extras/x86_64/" > /var/cache/yum/x86_64/6/extras/mirrorlist.txt echo "http://vault.centos.org/6.10/updates/x86_64/" > /var/cache/yum/x86_64/6/updates/mirrorlist.txt echo "http://vault.centos.org/6.10/sclo/x86_64/rh" > /var/cache/yum/x86_64/6/centos-sclo-rh/mirrorlist.txt echo "http://vault.centos.org/6.10/sclo/x86_64/sclo" > /var/cache/yum/x86_64/6/centos-sclo-sclo/mirrorlist.txt mirrorlist 전부 설치하라고 하셔서 진행했습니다. 하지만 4,5번째 rh, sclo는 no such file or directory 가 나옵니다. 스펠링 전부 확인해 보았고 보내주신것 그대로 설치 해보았지만 같은오류가 반복되며 해당 내용 구글링 해보았지만 나오지 않습니다. 해결 부탁드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
JAVA command not found
기존에 자바 설치하고 cmd에서 java -version 했을때는 잘 나왔는데요. 가상서버02에서 java -version 명령어 치게되면 -bash: java: command not found 이렇게 찾을 수 없다고 나오네용.. 환경변수 설정도 다 잘 했는데.. 뭐가문제일까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hive의 External Table ...
안녕하세요? Hive 의 External Table 이란게...물리적인 데이터는 가지지 않고, RDBM의 View 처럼 그냥 논리적인 구조를 만드는 개념인가요? 예를 들어서 create external table if not exist TABLE_A ..... location '/pilot-pjt/collect/car-batch-log/' 로 선언을 해서 테이블 A를 만들고, 그 후 동일한 하둡 파일로 create external table if not exist TABLE_B ..... location '/pilot-pjt/collect/car-batch-log/' 로 테이블 B 를 만들면 TABLE_A , TABLE_B 이라는 2개의 물리적인 테이블이 생기는지.. 아니면 같은 hadoop 파일을 바라보는 뷰가 2개 생기는 건지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
redis 설치 에러
안녕하세요. 설치 과정 진행 중, utils 디렉토리로 가서 chmod 755 하고 ./install_server.sh 한다음에 강사님께서 엔터 계속 치라고 하신부분 마지막에 please select the redis executable path []이라고 뜹니다. 강의에서는 안에 /usr/local/bin/redis-server라고 뜨는데 전 비어서 나와서 설치가 안되네요. 해결방법이 있을까요?