월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
선생님 질문이 있습니다!
선생님, 강의 현재 잘 따라나가고 있습니다. 지금 yum install -y gcc*에서 아래와 같은 문제가 발생합니다. 그래서 이와 관련하여 구글링을 해보니 [root@server02 ~]# yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mirror speeds from cached hostfile removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txt Error: Cannot find a valid baseurl for repo: base [root@server02 ~]# 아래와 같은 결과가 나오고 여전히 yum이 작동되지 않습니다. 세 줄 입력 후, yum update, 그 다음 yum install -y gcc* 혹은 세 줄 입력 후 yum install -y gcc* 모두 아래 결과가 나오는데요....ㅜㅜ 어떻게 해결을 해야 할까요? [root@server02 ~]# echo "https://vault.centos.org/6.10/os/x86_64/" > /var/cache/ yum/x86_64/6/base/mirrorlist.txt [root@server02 ~]# echo "http://vault.centos.org/6.10/extras/x86_64/" > /var/cac he/yum/x86_64/6/extras/mirrorlist.txt [root@server02 ~]# echo "http://vault.centos.org/6.10/updates/x86_64/" > /var/ca che/yum/x86_64/6/updates/mirrorlist.txt [root@server02 ~]# yum update Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Update Process Loading mirror speeds from cached hostfile https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/repodata/repomd.xml: [Errno 1 4] PYCURL ERROR 22 - "The requested URL returned error: 404 Not Found" Trying other mirror. Error: Cannot retrieve repository metadata (repomd.xml) for repository: cloudera -manager. Please verify its path and try again [root@server02 ~]# yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mirror speeds from cached hostfile https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/repodata/repomd.xml: [Errno 1 4] PYCURL ERROR 22 - "The requested URL returned error: 404 Not Found" Trying other mirror. Error: Cannot retrieve repository metadata (repomd.xml) for repository: cloudera -manager. Please verify its path and try again
- 미해결15일간의 빅데이터 파일럿 프로젝트
url 접속 관련
안녕하세요, 선생님 다시 한번 같은 강의에서 error가 발생했습니다.. 문제는 아래와 같은데요 구글링을 통해 여러 방법들을 시도해봤지만 개선은 없었습니다. 제가 질문드리고 싶은건 1. virtualbox에서 가상환경이 돌아가야 http://server01.hadoop.com:7180/ 에 접속 할 수 있는건가요? 2. 만약 돌아가야 url로 접속할 수 있는 거면 제가 노트북으로 프로젝트 진행하려는데 성능이 i5 메모리가 8기가, ssd(유)입니다. 그런데 가상환경 2개 다 키면 cpu 점유율이 99프로 까지 올라가더라구요. 물론 오늘 메모리를 쿠팡에서 주문하긴 하는데.. cpu 문제로 되지 않는건가 싶어서요. hosts 수정 후 가상환경이 접속 유무와 상관이 없다면 문제가 있는거겠죠... 읽어주셔서 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
선생님 질문이있습니다.
음 지금 mv명령을 써서 SmartCar 폴더에 있는 SmartCarStatusInfo_20160101.txt를 car-batch-log로 옮기려고 하고 있는데요 이후 SmartCar에 있던 저 해당 파일은 ls-ltr을 통해 이동을 했으니 없어지고 그러면 car-batch-log에 생겨야 하는데 car-batch-log에서 ls-ltr을 해보면 아무것도 없다고 나옵니다ㅜㅜ 이런 경우 어떻게 해야 할까요? 그리고 제가 계속 이 전송 적재 하는 부분에서 계속 막혀서 좀 답답한 나머지 기존 SmartCar 폴더에 있는 20200901.txt를 대신옮겨서라도 진행을 해볼까..해서 충동적으로 대신 옮겼는데 이거도 지금 유실된 상태입니다. 이 점은 그냥 로그 제네레이터를 새거로 재설치해서 진행을 하는게 좋을까요? 아니면 원래 애초부터 20200901파일은 필요가 없나요? 일단 먼저 적은 질문에 대한 cmd창을 같이 첨부해드리니 확인해주시면 감사하겠습니다..어서 다음 진도로 넘어가고 싶습니다 ㅜㅜ [root@server02 working]# java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.CarLogMain 20160101 3 & [1] 6528 [root@server02 working]# java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20160101 3 & [2] 6548 [root@server02 working]# cd /home/pilot-pjt/working/SmartCar [root@server02 SmartCar]# ls -ltr total 3052 -rw-r--r-- 1 root root 3122956 Apr 27 19:44 SmartCarStatusInfo_20160101.txt [root@server02 SmartCar]# vi SmartCarStatusInfo_20160101.txt [root@server02 SmartCar]# cd .. [root@server02 working]# mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log [root@server02 working]# cd SmartCar [root@server02 SmartCar]# ls -ltr total 0 [root@server02 SmartCar]# cd.. -bash: cd..: command not found [root@server02 SmartCar]# cd .. [root@server02 working]# cd car-batch-log [root@server02 car-batch-log]# ls -ltr total 0 [root@server02 car-batch-log]#
- 미해결15일간의 빅데이터 파일럿 프로젝트
virtualbox 오류 관련
안녕하세요. 선생님 어제 밤부터 강의를 듣기 시작한 학생입니다. 다름이 아니라 강의를 따라하다가 server01 등록한 후 시작을 눌렀을 떄 다음과 같은 오류가 발생했습니다. The virtual machine 'Server01' has terminated unexpectedly during startup with exit code 1 (0x1). More details may be available in 'C:\Users\User\Desktop\Pilot Project VM\Server01\Logs\VBoxHardening.log'. 결과 코드: E_FAIL (0x80004005) 구성 요소: MachineWrap 인터페이스: IMachine {f30138d4-e5ea-4b3a-8858-a059de4c93fd} 그래서 구글링 해 본 결과 https://mainia.tistory.com/5581 블로그에서 두가지 방법 중 Server01.vbox-prev 에서 -prev를 제거해 파일을 바꾸라고 하는데요.. 이방법을 시도해도 되는지 여쭤보고 싶습니다. 따라서 제 질문을 정리하면 1. 가상 머신 Server01 세션이 열리지 않아 이전 파일인 -prev 파일로 대체하는 것을 시도해 봐도 될까요? 2. 만약 시도해도 되지 않는다면 혹시 다른 해결방법을 아시는지 여쭤보고 싶습니다. 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
파일 시스템으로 Sample.txt 파일을 cat하면 글자가 깨집니다.
안녕하세요 빅디님 Sample.txt 원본파일은 한글이 잘 읽히는데, centos에 올라가면 sample.txt가 깨져서 보입니다. locale 설정을 변경해도 동일한 현상이 보입니다. 어떤 문제일까요? 개발환경은 윈도우는 아니고 MacOS에서 작업중입니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
선생님, 질문이 있습니다!
안녕하세요 선생님, 지난번에 consumer가 메세지를 받지 못한다고 했던 사람입니다! 아래에 어떤 분이 저와 같은 문제를 겪고 계신것같은데, 제가 처음 질문드린 사람입니다! 말씀해주신대로 먼가 문제가 있어서 플럼 로그를 확인해보니 SmartCar-agent 컨피규레이터? 그런게 없다고 해서 플럼의 구성 tier를 확인해보니까 제가 SmartCar-Agent가 아니라 SmartCar-agent라고 카멜케이스를 지키지 않아서 생긴 문제 같습니다. 저게 컨슈머가 메세지를 받지 못하는것과 상관이 있나요?? 분명 오늘 다시해보니 hello bigdata는 잘 받는거같은데 그리고 다시 오늘 시도해보니 생긴 문제가 SmartcarStatusInfo20160101.txt 이 로그를 발생시켜서 working/SmartCar 안에 잘 있음을 계속 확인하고 mv 명령을 통해 해당 로그 파일을 car-batch-log 폴더로 옮기고 car-batch-log의 디렉토리를 확인해보면 total 0 아무것도 전달되지 않더라고요;; <--이 부분 어떻게 하면좋을까요ㅠㅠ 몇번씩 오타 확인을 해도, 그리고 mv명령을 쓰기 전 SmartCar 안 폴더에 txt가 잘 있는걸 확인해도 저 부분에서 문제가 있어서 여태 컨슈머가 잘 받지 못한건지 의아스럽네요..... 감사합니다!
- 미해결15일간의 빅데이터 파일럿 프로젝트
kafka consumer에서 데이터를 못 읽는데요.
아랫분 처럼 저도 kafka에서 그리고 flume에 지정한 곳에서도 데이터를 전송받지 못하고 있습니다. log simulator, kafka topic 이름, flume refresh 다 해봤는데요. 왜 이런거죠?
- 미해결15일간의 빅데이터 파일럿 프로젝트
파일럿 PC의 호스트 파일 수정
파일럿 PC의 호스트 파일을 수정하는 이유가 가성서버 (server01,02,03)에 ip주소로 접근하는게 아니라 일종의 DNS 서버의 역할을 할 수 있도록, 이름으로 ip에 접근 할 수 있도록 해주는 것으로 알고 있습니다. 그러면 ip로도 접근이 되야할텐데 왜 ip로는 접근이 안될까요? 이름으로는 정상적으로 접근이 됩니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
선생님, 질문이 있습니다.
선생님, 강의 잘 듣고 있습니다~! 다름이 아니라 제 컴퓨터 상에서 배치로그 / 실시간로그는 잘 만들어지고 있는데요 이를 kafka를 통해 실시간으로 만들어지는 것들을 consumer에서 받아내도록 하는 과정에서 어떠한 메세지를 받아내지 못했다고 나오고 있습니다ㅜ 'hello bigdata'는 잘 통신이 되는 것을 확인하였는데요, 어디서 이 문제가 있는지 잘 모르겠습니다.flume에 구성 파일도 전부 예제3-4로 업데이트했는데.. 일단 관련 메세지 첨부하도록하겠습니다. 그리고 putty를 통해 서버 접속을 하실 때 저는 매번 server02.hadoop.com을 쳐서 open을 하는데 선생님께서는 server02를 그 아래 두번째 창(우측에 load save 있는)에서 바로 여시더라구요 그거 어떻게 하신것인지 알려주시면 감사하겠습니다!! kafka-console-consumer --bootstrap-server server02.hadoop.com :9092 --topic SmartCar-Topic --partition 0 21/04/23 17:04:14 INFO utils.Log4jControllerRegistration$: Registered kafka:type =kafka.Log4jController MBean 21/04/23 17:04:15 INFO consumer.ConsumerConfig: ConsumerConfig values: auto.commit.interval.ms = 5000 auto.offset.reset = latest bootstrap.servers = [server02.hadoop.com:9092] check.crcs = true client.dns.lookup = default client.id = connections.max.idle.ms = 540000 default.api.timeout.ms = 60000 enable.auto.commit = false exclude.internal.topics = true fetch.max.bytes = 52428800 fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = console-consumer-38440 heartbeat.interval.ms = 3000 interceptor.classes = [] internal.leave.group.on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.ByteArray Deserializer max.partition.fetch.bytes = 1048576 max.poll.interval.ms = 300000 max.poll.records = 500 metadata.max.age.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partition.assignment.strategy = [class org.apache.kafka.clients.consumer .RangeAssignor] receive.buffer.bytes = 65536 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.mechanism = GSSAPI security.protocol = PLAINTEXT send.buffer.bytes = 131072 session.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.1, TLSv1] ssl.endpoint.identification.algorithm = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLS ssl.provider = null ssl.secure.random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS value.deserializer = class org.apache.kafka.common.serialization.ByteArr ayDeserializer 21/04/23 17:04:15 INFO utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 21/04/23 17:04:15 INFO utils.AppInfoParser: Kafka commitId: unknown 21/04/23 17:04:15 INFO consumer.KafkaConsumer: [Consumer clientId=consumer-1, gr oupId=console-consumer-38440] Subscribed to partition(s): SmartCar-Topic-0 21/04/23 17:04:15 INFO clients.Metadata: Cluster ID: MR1rRIi8Sx2V4eoddfGHlQ 21/04/23 17:04:15 INFO internals.Fetcher: [Consumer clientId=consumer-1, groupId =console-consumer-38440] Resetting offset for partition SmartCar-Topic-0 to offset 7. Processed a total of 0 messages
- 미해결15일간의 빅데이터 파일럿 프로젝트
선생님 질문이있습니다
안녕하세요 선생님, 지금 수집 강의까지 전부 완료한 상태입니다~~ 다름이 아니라 제가 저번에 저장 공간때문에 문의를 두번 드렸었는데요 지금 ssd를 새로 구매해서.... 현재 c드라이브 d드라이브 모두 가상메모리를 늘려서 커밋된 메모리는 22BG에 이르지만 여전히 메모리는 실시간으로 확인한 결과 메모리가 7.8GB 모두 풀로 찬 상태에서 계속 가상서버 두대가 운용되고있습니다ㅜㅜ 그에 반해 캐시 전송은 몇백MB밖에되질않아 아무리 다른 백그라운드프로그램을 종료하고 시작하여도 힘듭니다 구글링을 돌려서 최대한 할 수 있는 것은 다 해보고 있는데 참 어렵네요 강의는 정말 재미있게듣는데 아니면 혹시 차라리 시스템 디스크를 제 ssd외장하드로 바꾸는 것은 어떨까요?? c드라이브는 100%운용되는데 d드라이브인 현재 ssd는 널널한 모습을 보고 있자니 참 답답하네요 이 방법은 괜찮을까요? 아니면 혹시 다른 방법이 있을지 궁금합니다. 감사합니다. 감사합니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
광학드라이버 삭제이유
CentOS 설치 후 광학드라이버를 왜 삭제하는 것인지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 설치관련 문의 드립니다.
wget https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/cloudera-manager.repo오타는 없는거 같은데 Error 404 메시지 나오는데 이거 정확한 주소 확인할 수 있는 방법없을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
선생님, 질문이 있습니다!
안녕하세요 선생님, 저번에 컴퓨터 사양관련해서 질문 드린 학생입니다. 오늘 다시 서버 2개 열고 강의 재개를 하려는데 서버만 켰다 하면 모든 앱이 반응이 매우 느려져서 정상적으로 실습이 어렵겠더라구요ㅜㅜ 이런 경우 과연 ssd를 사용하지 않아서 ssd 미사용이 제1원인이라 봐도 되나요? 그렇다면 주저않고 바로 ssd 외장하드를 하나 구매할 생각입니다..ㅜㅜ 현재 Virtual box, putty 등 강의에 필요한 모든 자료를 기존 외장하드에 몰아넣은 후 실습을 하고 있는데 혹시 ssd 미사용 말고도 또 다른 원인으로 인해 응답이 느린 것인지 궁금해서 제 컴퓨터 사양을 아예 올려놓겠습니다! 한번 확인해주시고 진단해주시면 정말 감사할 것 같아요ㅜㅜㅜ! 감사합니다!
- 미해결15일간의 빅데이터 파일럿 프로젝트
업로드 일정
안녕하세요! 강의 정말 잘 듣고 있습니다. 귀한 강의 감사합니다! 다름이 아니라 남은 분량의 업로드 일정은 어떻게 될까요? 공부 스케줄에 참고 하고 싶습니다. 감사합니다!
- 해결됨15일간의 빅데이터 파일럿 프로젝트
안녕하세요 질문있습니다~!
안녕하세요 선생님, 강의 잘 듣고 있습니다. 일단 저는 저사양pc에 해당되어서 이에 맞춰서 강의를 듣고 있는데요 ram 8.00GB / I7-6700HQ CPU, 그리고 저장공간은 외장하드 연결로 충분합니다.. 그런데 서버를 2개 돌리다보면 크롬에서 과부하가 심하게 걸려서 시간이 너무 오래 걸립니다ㅜㅜ 응답에 계속 딜레이가 걸려버리는 문제를 어떻게 하면 개선할 수 있을까요? 다행히 보면서 따라하는 것에는 문제가 없습니다. 강의는 잘 따라오고 있습니다. 다만 이 강의에 드는 시간이 너무많이 들어서 문제입니다ㅜㅜ! 그리고 강의를 들으면서 따라오는 도중 서버와 서버간 정보 전달을 담당하는 에이전트?를 설치하는 부분이 있었는데 (잘은 기억이 나질 않습니다)이 에이전트를 설치하는 과정에서 누락이 되었는지 아닌지 CM 상에서 확인할 방법은 없나요? 제가 중간에 제 개인 pc를 사용하지 못하게 되어 사용자 지정 소프트웨어(주키퍼 hdfs 등등)을 설치하던 것을 강제로 중단한 뒤 다음날에 새로 설치하였는데 혹시 저 에이전트를 설치하는 과정이 누락되었는지 확신이 서질 않습니다. 구글링을 여러번 해도 원하는 답변이 나오지 않더라구요 지금 hdfs 주키퍼 기본 커맨드를 실습해보는 단계에 있는데 여기까지에는 아무 문제가 없는데요, 혹시 차후에 강의를 진행하다가 이전 단계 어딘가에서 문제가 생겨서 따로 후속 조치를 취하느라 어그러지는게 걱정이 되어서 이런 질문을 드립니다ㅜㅜ!! 감사합니다~!~!
- 미해결15일간의 빅데이터 파일럿 프로젝트
강의자료 공유 가능하신지요?
재미있게 강의를 수강중입니다. 혹시 강의에 사용하신 PPT 화일을 받아 볼수 있는 방법이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클러스터 설정 - 실행명령 실패
저사양 기준으로 Virtual Box에서 Server01/02를 생성 후 클러스터를 설정중 다음과 같은 설치 실패 메세지를 받았습니다. Win10 - Virtual Box 5.0.40 -> 5.2.44 (old version은 실행이 되지 않아 바꾸었습니다) 데이터베이스 설정관련 내용은 강의에서 언급하신 바와 다르게 설치창에서는 따로 나오지 않았고 다음과 같이 설치에 실패하였습니다. 이런 경우에는 어떻게 해야 하나요..?
- 해결됨15일간의 빅데이터 파일럿 프로젝트
kafka spout 에러 질문드립니다
kafka spout 에러가 발생합니다 주키퍼 노드가 없다는 내용인것 같은데, 해결방법을 모르겠습니다 ㅠㅠ
- 미해결15일간의 빅데이터 파일럿 프로젝트
플럼 vs 카프카
강의를 보다가 궁금한게 생겨 여쭤봅니다! 플럼과 카프카의 개념이 매우 비슷하여, 파일럿 프로젝트에서는 카프카만 쓰는것으로도 모든 기능을 쓸 수 있을 것 같은데 플럼을 쓰신 특별한 이유가 있나요? 아니면 단순히 하둡관련환경에서 최대한 많은 구성요소들을 적용해보려고 쓰신건가요? 덧붙여서, 어느때에 카프카대신 풀럼을 쓰는건지도 궁금합니다.