월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 설치 관련 문의
버추어 박스에서 wget https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/cloudera-manager.repo 하면 404가 뜨는데 어떻해야 할까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Oracle VirtualBox 에러 관련, 실행이 안됩니다. 어떻게 해야 할지 가이드 부탁합니다.
The virtual machine 'Server02' has terminated unexpectedly during startup with exit code -1073741819 (0xc0000005). More details may be available in 'D:\Server02\Logs\VBoxHardening.log'. 결과 코드: E_FAIL (0x80004005) 구성 요소: MachineWrap 인터페이스: IMachine {5047460a-265d-4538-b23e-ddba5fb84976}
- 미해결15일간의 빅데이터 파일럿 프로젝트
hbase적재 문제
hbase에서 count 'DriverCarInfo'이 0row(s) 로 나타납니다. 다른 문의 글에서 답변해주신 내용대로 시뮬레이터 > Flume > Kafka > Storm > HBase | Redis 를 확인하였으며, ----------------------------- 주키퍼 클라이언트로 접속해서 토픽 정보가 잘 생성 되어 있는지 Server02에 접속해 아래 명령대로 확인해 보시고요.. $ zookeeper-client [zk: ...] ls /brokers/topics/SmartCar-Topic/partitions 위 SmartCar-Topic Z노드가 확인이 되었으면 큰 문제는 없습니다. 그냥 아래 순서대로 스톰 토폴로지를 재배포 후 테스트 해보시기 바랍니다. 1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo 2. CM에서 카프카 중지 3. Service 명령으로 Storm 중지 4. CM에서 주키퍼 중지 5. CM에서 주키퍼 시작 6. Service 명령으로 Storm 시작 7. CM에서 카프카 시작 8. 스톰 토폴로지 배포 9. 실시간 테스트 ----------------------------- 위의 내용대로 다시 실시하엿습니다 Redis 확인시에도 10건의 과속차량 정보가 조회되는것 확인하였으나, Storm UI에서 Acked가 증가되지 않는것 같습니다.(Emitted 와 Transferred 는 증가한거 맞을까요?) 이럴 경우 어떻게 해야 할까요? 답변부탁드립니다.
- 해결됨15일간의 빅데이터 파일럿 프로젝트
redis-cli 작동 원리
안녕하세요 강의 잘 듣고 있습니다. 다름이 아니라 redis-cli 관련해서 질문이 있습니다. $ java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20210901 100 & 으로 동작시키고 redis-cli > smembers 20200901으로 확인을 했는데, 10분이 넘게 지나도 기록이 되지 않아서 모두 삭제를 하고 다시 실행하였습니다. 20210901에서 20210801로 변경시켜서 실행하였는데, 이전에 redis에 적재되지 않았던 20210901의 과속 데이터 개수가 증가하고, 20210801은 20분 넘게 변화가 없습니다. 즉, smembers 20210901만 나오고 smembers 20210801은 나오지 않습니다. 1. 이전에 적재하던 것이 뒤늦게 진행이 된 것인가요? 삭제를 하였지만 내부 동작에는 삭제한 내용이 남아 진행되고 이후에 20210801의 과속데이터가 실행이 되게 될지 궁금합니다. 2. 이런 내부 동작을 중지시키고 다음 동작을 실행시키기 위해서는 어떤 동작을 수행하여야 하는지 궁금합니다. 3. redis에 진행되고 있는지를 확인하는 방법이 어떤 것이 있는지 궁금합니다. 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
제플린 문의 드립니다.
선생님 안녕하세요? 제플린 설치 관련 문의 드립니다. 강의 내용처럼 제플린 설치를 끝내고 zeppelin-daemon.sh start하여 OK 까지 나왔는데요. server02.hadoop.com:8081 접속이 되지 않네요. 원인을 찾을 수 없어 질문 드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
실습환경 OS 버전문의
CentOS 버전은 꼭 6.x 대역으로 해야 하는건가요? 요새는 대부분 7.8 Or 7.9 라서 궁금해서 문의 드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
yum upgrade ca-certificates 질문입니다.
이전 게시글에서 yum install gcc 질문 했었는데 yum -y upgrade ca-certificates 를 해보라고 하셔서.. 그 결과입니다.. 검색하다가 yum install ca-certificates도 해봤는데, update-ca-trust force-enable cp foo.crt /etc/pki/ca-trust/source/anchors/ foo.crt란 파일은 어디있는것인지... 안됩니다.. /etc/yum.conf 파일도 수정해봤는데(sslverify=false), 2번째 첨부이미지처럼 됩니다.. 어떻게 해야할까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클러스터 설정 시 실패 오류
사진과 같이 설치 실패 오류가 뜹니다. 다른 질문들 참고하여 putty로 server01에 접속해서 명령어도 날려보고 했지만 command not found가 뜨거나 혹은 No such file or directory 오류뜨면서 해결하지 못하겠네요.. 어떻게 해야하나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
버츄얼박스 - 네트워크 설정 관련 질문
VM 통합 환경 구성 단계에서 버츄얼박스 네트워크 설정할 때 호스트 전용 네트워크 탭이 보이지 않는데 해결방법이 어떻게 되나요? 현재 구글링으로 1. cd c:\Program Files\Oracle\VirtualBox 2. VBoxManage.exe -v 3. VBoxManage.exe hostonlyif create 콘솔에서 위 명령어대로 진행했었는데 따로 탭이 생성되지 않아서 질문드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트 질문 드립니다.
선생님 안녕하세요?제목과 같이 탐색 파일럿 실행 4단계에서 스마트카 운전자 운행 로그 생성 실습 중 java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain20200322 100 & 명령 후 [root@server02 working]# Error: Could not find or load main class com.wikibook.bigdata.smartcar.loggen.DriverLogMain20200322 위의 내용처럼 에러가 나옵니다. 문제가 무엇인지 잘 모르겠습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 설치
클라우데라 매니저를 설치하려고 하는데 자꾸 크롬이 정지가 됩니다. 용량이 부족해서 그런가요?? 클라우데라 매너지에서 cluster1를 설치하려다가 계속 정지되어서 종료하고 다시 설치하려고 하니 cluster1를 설치 못하고 cluster2를 설치하라고 뜹니다. 클라우데라 매니저를 초기화 하고 다시 할 수 있는 방법이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 설치
클라우데라 매니저를 설치하려고 로그인 했는데 평가판이 만료되었다는 표시가 뜹니다. 어떻게 해야 하나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
9870포트와 8088/cluster 포드 그리고 19888포트 접속 질문입니다.
선생님 안녕하세요? 강의 내용 적재 파일럿 실행 2단계 실습 진행에서 9870 포트(하둡 전체 관리 화면)와 8088포트(리소스 관리 화면) 그리고 19888포트(잡히스토리 화면) 접속이 되지 않아 질문 드립니다. 현재 접속이 되지 않는 상태가 정상인지요? 그냥 궁금해서 질문 드립니다. 수고하세요~
- 미해결15일간의 빅데이터 파일럿 프로젝트
중간 시스템 off 순서는?
수업 후 잠시 시스템 종료가 필요한 경우, 어떤 순서로 종료해야 하며, 다시 시작 할 경우는 무엇을 점검해야 하는 지 알려 주시면 감사하겠습니다. 지금 현재는 cm 창 닫기 -> server02 off -> server01 off -> v box off -> system off 의 순으로 한 뒤 그 역순으로 기동 시키고 storm-nimbus, supervisor, ui 순으로 기동 후 수업을 이어가려 하는데, 가끔 cm의 오류가 해결 되지 않습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클러스터 설정 중 오류 문의 드립니다.
안녕하세요, 현재 강의를 따라 동일하게 진행하는데 같은 부분에서 동일한 오류가 반복됩니다. 새로 이미지를 올려도 보고 재부팅해봐도 해당 오류가 반복해서 발생합니다. 어떤 이유로 발생했고 어떻게 해결할 수 있을지 알려주시면 감사드리겠습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
Storm 토폴로지 배포 후 Spout, bolt 에러
kafka-console-consumer 까지는 데이터가 들어오는것을 확인했지만 HBASE에 데이터가 들어오지 않아서 Storm UI를 확인해봤더니 DriverCarInfo 토폴로지에 아래 캡처와 같이 에러가 나고 있습니다. 어떤 이유로 나는지 알수가 없네요... 아래는 해당 Spout, Bolt에 나오는 상세 에러로그입니다. [kafkaSpout 에러] java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/SmartCar-Topic/partitions at org.apache.storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:99) at org.apache.storm.kafka.trident.ZkBrokerReader.<init>(ZkBrokerReader.java:44) at org.apache.storm.kafka.KafkaUtils.makeBrokerReader(KafkaUtils.java:64) at org.apache.storm.kafka.KafkaSpout.open(KafkaSpout.java:83) at org.apache.storm.daemon.executor$fn__10112$fn__10127.invoke(executor.clj:609) at org.apache.storm.util$async_loop$fn__624.invoke(util.clj:482) at clojure.lang.AFn.run(AFn.java:22) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/SmartCar-Topic/partitions at org.apache.storm.kafka.DynamicBrokersReader.getNumPartitions(DynamicBrokersReader.java:113) at org.apache.storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:83) ... 7 more Caused by: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/topics/SmartCar-Topic/partitions at org.apache.zookeeper.KeeperException.create(KeeperException.java:114) at org.apache.zookeeper.KeeperException.create(KeeperException.java:54) at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1659) at org.apache.curator.framework.imps.GetChildrenBuilderImpl$3.call(GetChildrenBuilderImpl.java:242) at org.apache.curator.framework.imps.GetChildrenBuilderImpl$3.call(GetChildrenBuilderImpl.java:231) at org.apache.curator.connection.StandardConnectionHandlingPolicy.callWithRetry(StandardConnectionHandlingPolicy.java:64) at org.apache.curator.RetryLoop.callWithRetry(RetryLoop.java:100) at org.apache.curator.framework.imps.GetChildrenBuilderImpl.pathInForeground(GetChildrenBuilderImpl.java:228) at org.apache.curator.framework.imps.GetChildrenBuilderImpl.forPath(GetChildrenBuilderImpl.java:219) at org.apache.curator.framework.imps.GetChildrenBuilderImpl.forPath(GetChildrenBuilderImpl.java:41) at org.apache.storm.kafka.DynamicBrokersReader.getNumPartitions(DynamicBrokersReader.java:110) ... 8 more [HBASE Bolts 에러] ava.lang.RuntimeException: java.io.IOException: Unable to establish connection to HBase table DriverCarInfo at com.wikibook.bigdata.smartcar.storm.HBaseBolt.prepare(HBaseBolt.java:40) at org.apache.storm.daemon.executor$fn__10180$fn__10193.invoke(executor.clj:803) at org.apache.storm.util$async_loop$fn__624.invoke(util.clj:482) at clojure.lang.AFn.run(AFn.java:22) at java.lang.Thread.run(Thread.java:748) Caused by: java.io.IOException: Unable to establish connection to HBase table DriverCarInfo at com.wikibook.bigdata.smartcar.storm.HTableConnector.<init>(HTableConnector.java:37) at com.wikibook.bigdata.smartcar.storm.HBaseBolt.prepare(HBaseBolt.java:38) ... 4 more Caused by: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240) at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:441) at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:434) at org.apache.hadoop.hbase.client.ConnectionManager.getConnectionInternal(ConnectionManager.java:312) at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:185) at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:151) at com.wikibook.bigdata.smartcar.storm.HTableConnector.<init>(HTableConnector.java:35) ... 5 more Caused by: java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238) ... 11 more Caused by: java.lang.ExceptionInInitializerError at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2639) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2612) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:169) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:354) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296) at org.apache.hadoop.hbase.util.DynamicClassLoader.initTempDir(DynamicClassLoader.java:133) at org.apache.hadoop.hbase.util.DynamicClassLoader.<init>(DynamicClassLoader.java:103) at org.apache.hadoop.hbase.protobuf.ProtobufUtil.<clinit>(ProtobufUtil.java:256) at org.apache.hadoop.hbase.ClusterId.parseFrom(ClusterId.java:64) at org.apache.hadoop.hbase.zookeeper.ZKClusterId.readClusterIdZNode(ZKClusterId.java:75) at org.apache.hadoop.hbase.client.ZooKeeperRegistry.getClusterId(ZooKeeperRegistry.java:105) at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.retrieveClusterId(ConnectionManager.java:944) at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:720) at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.<init>(ConnectionManager.java:649) ... 16 more Caused by: java.lang.IllegalStateException: Shutdown in progress at java.lang.ApplicationShutdownHooks.add(ApplicationShutdownHooks.java:66) at java.lang.Runtime.addShutdownHook(Runtime.java:211) at org.apache.hadoop.util.ShutdownHookManager.<clinit>(ShutdownHookManager.java:47) ... 31 more
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hbase에 데이터 적재가 되지 않습니다...
hbase shell로 들어가서 count 'DriverCarInfo' 를 입력하면 0 row(s) Took ~ seconds 라고 나옵니다... 강의대로 실습하고 Storm이랑 Hbase 관리 창에 들어가 봐도 DriverCarInfo Topology랑 Table은 생성이 되어있는데 뭐가 문제인걸까요...? 테이블을 지우고 새로 생성한다음 실시간 로그파일을 생성시켜봐도 테이블에 데이터가 쌓이지 않습니다 ㅜㅠ
- 미해결15일간의 빅데이터 파일럿 프로젝트
yum install 에러 질문입니다.
yum install -y gcc* 공지에 있는대로 한 후에는 다음과 같은 에러가 납니다.. 답변 부탁드립니다. [root@server02 ~]# yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mirror speeds from cached hostfile http://vault.centos.org/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. It was impossible to connect to the Red Hat servers. This could mean a connectivity issue in your environment, such as the requirement to configure a proxy, or a transparent proxy that tampers with TLS security, or an incorrect system clock. Please collect information about the specific failure that occurs in your environment, using the instructions in: https://access.redhat.com/solutions/1527033 and open a ticket with Red Hat Support. http://vault.centos.org/6.10/extras/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. http://vault.centos.org/6.10/updates/x86_64/repodata/repomd.xml: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Resolving Dependencies --> Running transaction check ---> Package gcc.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: cpp = 4.4.7-23.el6 for package: gcc-4.4.7-23.el6.x86_64 --> Processing Dependency: cloog-ppl >= 0.15 for package: gcc-4.4.7-23.el6.x86_64 ---> Package gcc-c++.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libstdc++-devel = 4.4.7-23.el6 for package: gcc-c++-4.4.7-23.el6.x86_64 --> Processing Dependency: libmpfr.so.1()(64bit) for package: gcc-c++-4.4.7-23.el6.x86_64 ---> Package gcc-gfortran.x86_64 0:4.4.7-23.el6 will be installed ---> Package gcc-gnat.x86_64 0:4.4.7-23.el6 will be installed --> Processing Dependency: libgnat-devel = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 --> Processing Dependency: libgnat = 4.4.7-23.el6 for package: gcc-gnat-4.4.7-23.el6.x86_64 ---> Package gcc-java.x86_64 0:4.4.7-23.el6 will be installed http://vault.centos.org/6.10/os/x86_64/repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2: [Errno 14] Peer cert cannot be verified or peer cert invalid Trying other mirror. Error: failure: repodata/5f7694d9c6c4a41dee56f51a965c3426ae2f685d6a9fb99d2e5a255c7bec0864-filelists.sqlite.bz2 from base: [Errno 256] No more mirrors to try.
- 미해결15일간의 빅데이터 파일럿 프로젝트
컴퓨터 사양 관련
안녕하세요. 제가 지금 하둡, 주키퍼를 설치하려고 하는데요. 버추얼박스 실행부터 버벅거립니다. server02가 계속 일시정지되면서 컴퓨터가 버벅 거립니다. 컴퓨터는 그램15 / i5 / 램8기가(여유7.74) / 여유용량112기가 / ssd 사양으로 저사양으로 따라서 하고 있는데도 작동이 안됩니다. 램을 추가해서 늘려야 할까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
virtualbox에서 pilot project vm을 가져오는 방법
1.죄송합니다. virtualbox에서 pilot project vm을 가져오는 방법을 가르쳐 주십시요 virtual box 5.0을 깔고 , 새로만들기에서 server01로 이름을 만들고, 순서대로 하는데 안되네요