월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Toplogy 생성 관련 문의
이번 강의 중에는 Toplogy 생성에 대해 깊에 들어가는 부분이 아니라고 하셔서 핵심 코드를 설명을 해 주셨는데요. 배포하라고 첨부해주신 bigdata.smartcar.storm-1.0.jar 를 구조가 궁금해서 열어봤는데요 다양한 의존성 lib부터 많은 패키지 및 파일들로 구성되어 있었습니다. 이부분에서 말씀하신 핵심 로직은 어디에 위치하는것일까요? 그리고 토플로지를 생성하려면 어떤 도구나 방법 (JAVA 언어자체 외적으로 기본 의존성 라이브러리를 어떻게 세팅되는지)이 있는지 궁금합니다. 기본 핵심 로직만 설정하고 빌드 과정을 통해서 저런 의존성 java library는 같이 빌드 되는것인지 아니면 소스안에 저 모든 패키지가 토플로지 구성 시작할때 모두 다 준비되어야 하는건지 궁금합니다. 아 그리고 친철한 강의 덕분에 실시작 적재도 실습해 보았습니다. 궁금한게 지난번에 HBase에 Store 는 결국 HDFS랑 연결되어 있다고 하셨는데 실시간 적재를 계속 진행해도 하둡 유틸리티에 hdfs 사이즈 부분은 딱히 증가하지는 않던데. 일정 용량 이상 더 들어가야 hbase에서 hdfs로 데이타를 내리는 구조인가요? 궁금한게 많아서 죄송합니다.. ㅠ
- 미해결15일간의 빅데이터 파일럿 프로젝트
javac: invalid flag: 20200901 라는 에러가 뜹니다.
6. 스마트카 로그 시뮬레이터 - 설치 및 실행 강의 도중 아래와 같은 에러가 뜹니다. 오타 때문은 아닌 것 같고... 검색해보니 경로 문제라면서 "" 붙이면 된다고 해서 "20200901" 라고도 해봤는데 여전히 해결되지 않았습니다. 이 해결방법이 실습 내용이랑은 뭔가 안 맞는 것 같은데 어떻게 해결하면 좋을까요? [root@server02 working]# java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20200901 10 javac: invalid flag: 20200901 Usage: javac <options> <source files> use -help for a list of possible options
- 미해결15일간의 빅데이터 파일럿 프로젝트
카프카의 싱크로 Stom의 역할
Kafka의 Sink로 HBase가 있는것으로 보이는데 HBase로 바로 연결안하고 중간에 Storm을 두는 이유를 좀더 구체적으로 알고 싶습니다. 추후 강의를 보면 Storm의 Event Detection 기능을 활용하기 위함이라고 나오는데 Kafka는 그런 기능이 없을까요?^^
- 미해결15일간의 빅데이터 파일럿 프로젝트
파일럿 PC hosts 파일 수정 관련 질문 있습니다!
메모장 관리자 권한으로 실행 후 hosts 파일을 열고 아래 주소를 입력한 뒤 저장하잖아요? 192.168.56.101 server01.hadoop.com 192.168.56.102 server02.hadoop.com 192.168.56.103 server03.hadoop.com 그런데 이때 텍스트 문서(*.txt) 형식으로 저장하나요 아니면 모든 파일(*.*) 형식으로 저장하나요? 일단 텍스트 문서 형식으로 저장하니 한참이 지나도 http://server01.hadoop.com:7180 이 실행되지 않습니다. 모든 파일 형식으로 저장하면 위에서 추가했던 3줄은 반영이 안 되고, 마찬가지로 http://server01.hadoop.com:7180 도 열리지 않습니다. 어떻게 해야하나요? 아래 링크는 직접 해본거 녹화한겁니다. 확인하시고 해결방법 알려주시면 감사하겠습니다ㅠ https://youtu.be/s9gTZC7XABg
- 미해결15일간의 빅데이터 파일럿 프로젝트
cloudera manager 플럼 관련 문의
안녕하세요. 저는 강의처럼 서버 이미지를 사용하지않고 직접 centos7에 cloudera manager를 직접 설치 하였습니다. 버전은 7.4.4이고 평가판입니다. 설치 후 강의를 정상적으로 따라하고 있는 중인데 플럼을 설치하려고 하는데 서비스 리스트에 플럼이 없습니다. 강의에서는 6.x 버전 사용하는 것 같은데 혹시 7.x 버전에서는 플럼 서비스를 제공을 안하나요? 아니면 설정을 변경을 할게있는지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
java 설치 후 path 편집 질문 있습니다.
JAVA_HOME 변수 만드는 것까진 했는데, java 설치 후 path 편집 화면이 영상과 달라서 어떻게 해야할지 모르겠습니다;; 아래는 강의 화면이고, path 변수를 편집했을 때 나오는 창인데, 제 컴퓨터에서는 아래와 같은 창이 뜹니다 ;%JAVA_HOME%\bin 을 어디에 붙여야하나요? 제 컴퓨터 환경 기준으로 아래처럼 하면 되는건가요? C:\Program Files (x86)\Common Files\Oracle\Java\javapath;%JAVA_HOME%\bin 근데 저렇게 해도 cmd 창이 아래처럼 뜹니다ㅠ 어떻게 해야하나요? * 혹시 cmd 창에 보면 Users\user 이라고 되어있는데 이게 문제일까요? 찾아보니 강의랑 다른 사람들은 Users\Admistrator 라고 되어있더라구요;; + 해결된 것 같습니다! 아예 [새로 만들기] - %JAVA_HOME%\bin 만 따로 입력 하니까 cmd에서도 문제없이 버전 확인이 되네요! 근데 이렇게 강의 방법이랑 다르게 해도 이후 강의 따라가는데에 문제가 없을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
R에서 하이브데이터 로드 실습 오류
R에서 하이브데이터 로드 실습 중 다음과 같은 오류가 났습니다. 도와주세요. conn <- dbConnect(drv, "jdbc:hive2://server02.hadoop.com:10000/default","hive1","cRTskaaYMg") ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property 'org.apache.logging.log4j.simplelog.StatusLogger.level' to TRACE to show Log4j2 internal initialization logging. ** 제 config 내용은 아래와 같습니다. { "items" : [ { "name" : "hbase_service", "value" : "hbase" }, { "name" : "hive_metastore_database_host", "value" : "server01.hadoop.com" }, { "name" : "hive_metastore_database_name", "value" : "hive1" }, { "name" : "hive_metastore_database_password", "value" : "cRTskaaYMg" }, { "name" : "hive_metastore_database_port", "value" : "7432" }, { "name" : "hive_metastore_database_type", "value" : "postgresql" }, { "name" : "hive_metastore_database_user", "value" : "hive1" }, { "name" : "mapreduce_yarn_service", "value" : "yarn" }, { "name" : "zookeeper_service", "value" : "zookeeper" } ] }
- 미해결15일간의 빅데이터 파일럿 프로젝트
꼭 centos6.10 버전을 사용하는데 이유가 있나요?
직접 환경구성을 해보고 싶은데, 꼭 centos 6 버전만 가능한가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강의 너무 잘 듣고 있습니다!
안녕하세요 선생님 제가 이 강의를 듣게된 이유가 학교 프로젝트로 빅데이터 관련 프로젝트를 진행해야하기 때문입니다. 빅데이터의 'ㅂ' 자도 몰랐는데 강의를 들으면서 어느정도 개념이 생겨나는 것 같습니다. ㅎㅎ 너무 좋은 강의 감사드려요 들으면서 궁금증이 생겼는데요 지금 큰 단계가 수집 > 적재 > 탐색 > 분석 이 잖아요? 만약에 빅데이터에 관련된 자유주제로 프로젝트를 진행한다 하였을때 제가 이 모든 단계를 혼자서 구현해야할까요? 예를들어 분석만 하는 프로젝트를 진행을 한다하면 분석을 위해 지금까지 해온 수집 적재 탐색 작업을 다 이런식으로 구현을 해야하나요? 빅데이터 관련 자유주제로 프로젝트를 어떻게 진행해야할지 갈피를 못잡아서 이렇게 선생님께라도 조언을 구해봅니다. 추가로, 수집 과정에서 로그 시뮬레이터를 통해 로그 데이터를 얻어오는데 이 자바프로그램은 선생님께서 직접 만드신건가요? 아니면 이런 자료들을 어디서 받아올 수 있는지 궁금합니다. 질문의 내용이 참 두서도 없고 너무 초보적이라 당황스러우실텐데 이해해주시면 감사하겠습니다 ㅠㅠ
- 미해결15일간의 빅데이터 파일럿 프로젝트
Virtual box 버전 문의
버추얼박스 5.0.40 버전이 오래 되서 노트북에서 성능문제가 발생하기 떼문에 사용할 수 없으며, 새버전을 사용하라고 권하고 있습니다. 어떤 버전으로 사용하면 좋을까요? 가장 최근 버전은 좀 무리가 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
도메인으로 접속이 불가능합니다
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 선생님. 강의 잘 듣고 있습니다. 버츄얼박스로 서버 1,2를 실행 시킨 상태에서 도메인으로 접속해봤으나 연결할 수 없음으로 떠서 IP주소로 접속해서 진행했습니다. 포트를 입력해도, 지워도 연결이 안되더라구요. 도메인 주소 대신 계속 IP주소를 사용해도 다음 목차들을 진행하는데 문제가 없을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
그럼 sparkml도 있는데 왜 머하웃을 사용하나요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 그럼 sparkml도 있는데 왜 머하웃을 사용하나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
CM 접속 지연
안녕하세요 강의 잘 듣고 있습니다. 질문이 있습니다. Cloudera Manager 를 실행해서 실습을 진행 중에 있습니다. 서버를 키자마자는 3분 정도 후에 CM이 바로 실행이 되는데 어떤 경우에는 실습 진행 중에 1시간이 넘어야 CM 창이 실행되고 어떤 경우에는 바로 켜지는 등 실행 속도에 차이가 있습니다. 어떤 경우에는 클러스터 내의 모든 구성요소(Flume, Kafka 등)을 다 켜도 바로 켜지는 경우도 있고, 또 다른 경우에는 수집, 적재 등 몇 가지 구성요소가 꺼져있어도 1시간 이상 소요되서 켜지는 경우도 있습니다.(새로고침, 다시 실행 등 여러 번 수행) 이런 문제들로 실습을 원활하게 진행하지 못하고 시간이 많이 소요되고 있습니다. 이런 경우에 원인은 무엇이며 해결 방법은 어떤 것이 있을까요? 단순히 Memory의 문제인가요? ps) CPU는 i7-8550U RAM은 16GB 입니다. 남은 C드라이브 용량은 20GB 정도입니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
server02.hadoop.com 설정에 대해
안녕하세요. 하나씩 해결하면서 재밌게 하고 있습니다. 질문이 server03 이 아래와 같이 잘 인식이 안됩니다. 혹시 다른것을 해줘야 할까요. 가상서버 01부처 03까지 모두 설정하고 잘 돌아가는 상황입니다. 가이드 부탁해요. 알수가 없네요.
- 미해결15일간의 빅데이터 파일럿 프로젝트
server01.hadoop.com:7180 접속이 안됩니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 저는 macOs에서 vm을 실행시켜서 사용하고 있는데요 mac에 있는 host-file.txt에 server01,02,03의 ip도 추가해주었고 강의에 나와있는 대로 NAT주소와 호스트 네트워크 관리자 주소도 설정해주었습니다. 하지만 server01, server02를 vm에서 가동한 후, 크롬에서 server01.hadoop.com:7180에 접속해도 계속 접속이 되지 않습니다. mac 같은 경우에는 설정이 다른 부분이 있나요? 아니면 제가 어떤 과정을 추가적으로 더 해야되는 부분이 있나요? +) server01, server02에 로그인은 잘 됩니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
머하웃과 스파크ML 이용한 머신러닝 질문 드립니다.
선생님 안녕하세요? 많은 질문에도 빠른 답변으로 여기까지 잘 진행해 올 수 있었습니다. 제목과 같이 머하웃과 스파트 ML를 이용한 머신러닝 과정에서 아래 그림과 같이 실행이 완료되지 않아 질문 드립니다. 구글링해도 내용이 나오지 않아 (제가 못찾는 부분이 크겠죠...) 해결을 못하고 있습니다. 이런한 문제가 하이브 쿼리 사용할때 자주 나오는데...해결 방법이 없을까요? 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 미해결15일간의 빅데이터 파일럿 프로젝트
Cloudera Manager 대안 문의
궁금한게 있습니다. Cloudera Manager 같은 역할(하둡에코시스템 설치, 노드 매니지먼트, 모니터링)을 해주는 무료(오픈소스) 기반의 솔루션은 없나요? Ambari Manager 가 그런 역할을 할까요? 이것도 무료인지 아무튼 Cloudera manager 에 대안 대안책이 있는지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 설치 관련 문의
버추어 박스에서 wget https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/cloudera-manager.repo 하면 404가 뜨는데 어떻해야 할까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Oracle VirtualBox 에러 관련, 실행이 안됩니다. 어떻게 해야 할지 가이드 부탁합니다.
The virtual machine 'Server02' has terminated unexpectedly during startup with exit code -1073741819 (0xc0000005). More details may be available in 'D:\Server02\Logs\VBoxHardening.log'. 결과 코드: E_FAIL (0x80004005) 구성 요소: MachineWrap 인터페이스: IMachine {5047460a-265d-4538-b23e-ddba5fb84976}
- 미해결15일간의 빅데이터 파일럿 프로젝트
hbase적재 문제
hbase에서 count 'DriverCarInfo'이 0row(s) 로 나타납니다. 다른 문의 글에서 답변해주신 내용대로 시뮬레이터 > Flume > Kafka > Storm > HBase | Redis 를 확인하였으며, ----------------------------- 주키퍼 클라이언트로 접속해서 토픽 정보가 잘 생성 되어 있는지 Server02에 접속해 아래 명령대로 확인해 보시고요.. $ zookeeper-client [zk: ...] ls /brokers/topics/SmartCar-Topic/partitions 위 SmartCar-Topic Z노드가 확인이 되었으면 큰 문제는 없습니다. 그냥 아래 순서대로 스톰 토폴로지를 재배포 후 테스트 해보시기 바랍니다. 1. 스톰 토폴로지 삭제 : $ storm kill "DriverCarInfo 2. CM에서 카프카 중지 3. Service 명령으로 Storm 중지 4. CM에서 주키퍼 중지 5. CM에서 주키퍼 시작 6. Service 명령으로 Storm 시작 7. CM에서 카프카 시작 8. 스톰 토폴로지 배포 9. 실시간 테스트 ----------------------------- 위의 내용대로 다시 실시하엿습니다 Redis 확인시에도 10건의 과속차량 정보가 조회되는것 확인하였으나, Storm UI에서 Acked가 증가되지 않는것 같습니다.(Emitted 와 Transferred 는 증가한거 맞을까요?) 이럴 경우 어떻게 해야 할까요? 답변부탁드립니다.