월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 클러스터 오류
밑에 분과 똑같이 상태문제가 뜨는데 어떻게 해결해야 되나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
VM 버전
VM 5.0.40 버전이 다운이 클릭이 안됩니다 다른 버전으로 하면 안되나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
seq2sparse 실행 오류 관련
안녕하세요 선생님!주말 잘 보내고 계신지요?하둡 실행 시 오류(제목과 같이 mahout 실행 시 오류)가 나는데 해결이 되지 않아서도움 요청 드립니다ㅠ사진이 잘 안보이실까봐 의심가는 에러 메세지를 적어 드립니다22/09/17 21:44:12 INFO Job: Job job_1663390870744_0006 failed with state FAILED due to: Application application_1663390870744_0006 failed 2 times due to Error launching appattempt_1663390870744_0006_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.This token is expired. current time is 1663418651874 found 1663394481687Note: System times on machines may be out of sync. Check system time and time zones.구글에서 서버 시간 동기화를 해주는 작업을 진행했는데도 해결이 되지 않아요ㅠ아래는 에러 스샷입니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 클러스터 오류
빅데이터 클러스터 구성 3 강의를 실습중입니다. 알려주신 클라우데라 매니저 설정과 똑같이 진행했으나 다음과 같이 빨간 오류 아이콘이 뜹니다아래 사진과 같이 물리적 메모리가 꽉 찬 것이 문제인가 싶어 버츄얼 박스의 설정에서 메모리를 늘려보려고 했으나아래 사진과 같이 선택이 되지 않습니다, 버츄얼 박스의 서버 이미지 파일은 제공해주신 것을 그대로 사용했습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 클러스터 오류
빅데이터 클러스터 구성 3 강의를 실습중입니다.클라우데라 매니저 설정을 똑같이 따라했지만 이와같은 빨간 아이콘이 뜹니다.클러스터의 물리적 메모리가 꽉 찼길래 이것이 원인인가 하여 버츄얼박스의 서버 설정에서 메모리를 늘려보려고 했으나 아래와 같이 선택이 되지 않습니다. 버츄얼박스는 제공해주신 서버 이미지 파일을 그대로 사용했습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
Memory limit exceeded 에러
Impala 쿼리 실행 시 위와 같은 에러가 나는 경우가 있습니다Impala 데몬 메모리 제한이 낮게 잡혀 있어서 생기는 문제인데요 해결방법은 클라우데라 매니저 -> Impala -> 구성 -> mem_limit 로 검색 -> Impala Daemon 메모리 제한을 늘려주시면 됩니다저는 1GiB 로 늘려서 쿼리를 실행에 성공했습니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
영상 재생 관련
안녕하세요 선생님영상 재생 중에 2분 6초 경에서 영상이 멈추는 현상이 있습니다다시 재생을 해도 정상 재생이 되지 않습니다.영상 재생 시점을 임의로 그 이후(2분 7초 이후)로 해놓고 새로고침하면 정상 재생 되긴 하지만요....ㅎㅎ 즐거운 추석 보내세요!감사합니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
강의자료
pdf 파일과 같은 강의자료는 제공받을 수 없나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Oozie Server가 동작에 문제가 생겼습니다...
우지를 설치 진행하던중 아래와 같이 문제가 발생했습니다..탐색에서 사용하지 않는 패키지들은 정지한 상태이며, 여러번 시도해봤습니다만 설치에 실패했습니다.어디를 어떻게 접근해야 하는지요? 의견 부탁드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
로그 시뮬레이터 만드는 법
안녕하세요강의를 듣고 나중에 토이 플젝을 진행해볼 계획을 가지고 있습니다. 강사님께서 활용하신 로그 시뮬레이터는 직접 만드신걸까요?로그시뮬레이터를 만들어서 활용해보고 싶은데 어떤 식으로 만드는게 좋을지 여쭤봐도 될까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hbase 복잡 질의문 사용중 에러 발생입니다.
"2022.01.03, D04지역 모든 스마트가 운전자의 차량번호와 지역번호를 출력하기"를 하던중 정상적으로 출력이 되다가 연결이 끊어지는 현상이 발생 했습니다. 시스템 문제인것 같기도 합니다. 앞의 다른 질의들은 결과가 정상 출력이었습니다. (server02)scan 'DriverCarInfo', {COLUMNS=>['cf1:car_number','cf1:area_number'],FILTER=>"RowFilter(=,'regexstring:30102202') AND SingleColumnValueFilter('cf1','area_number',=,'regexstring:D04')"}
- 미해결15일간의 빅데이터 파일럿 프로젝트
Storm 패스 프로파일을 source할때 에러가 발생했습니다.
수정한 프로파일 정보를 읽어올때 위와 같은 문제점이 발생하였습니다. 스톰 패스는 문제가 없는것 같고, 과거에 설정 패스 경로가 문제인 것으로 생각됩니다만. 프로파일에서 설정경로를 확인할수 있는 방법이 있는지요? Linux에 해당하는 질문인것 같습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
Flume SmartCar Agent 실행중 에러 발생(p157)....
4장 적재(p157)위와 같은 에러가 발생해서 "Create /pilot-pjt/collect~"를 만들수 없습니다. 해결 방안이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Flume SmartCar Agent 작동 테스트 에러 발생했습니다.
스마트상태정보파일을 car-batch-log폴더에 옮기고 flume 로그 실행하면 위와 같이 "SpoolDirectorySource : The Channel is full~" ,더이상 진행이 어렵습니다. 에러 원인을 인터넷으로 찾아보니, 이벤트가 모두 저장이 되지 않은 상태에서 파일을 옮겼기 때문이라고 합니다. 분명 100MB를 채워진것을 확인후 옮겼습니다. 그렇다보니 "collect" 폴더를 만들지 못했습니다. 해결 방안이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
예약 및 workflow 실행 불가 관련
안녕하세요 선생님!오랜만에 질문글 드립니다Subject3 의 hive-script 작성 + 워크 플로우 생성 후예약 실행 시 오류가 납니다워크플로우만 따로 실행하려고 해도 동일한 에러가 납니다xml 을 파싱하면서 나는 에러인 거 같은데요...(앞의 강의와 과제는 잘 실행이 됐었습니다!)확인해주시면 감사드리겠습니다ㅠㅠCaused by: org.xml.sax.SAXParseException; lineNumber: 1; columnNumber: 21; An invalid XML character (Unicode: 0x8) was found in the value of attribute "name" and element is "workflow-app". at org.apache.xerces.util.ErrorHandlerWrapper.createSAXParseException(Unknown Source) at org.apache.xerces.util.ErrorHandlerWrapper.fatalError(Unknown Source) at org.apache.xerces.impl.XMLErrorReporter.reportError(Unknown Source) at org.apache.xerces.impl.XMLErrorReporter.reportError(Unknown Source) at org.apache.xerces.impl.XMLErrorReporter.reportError(Unknown Source) at org.apache.xerces.impl.XMLScanner.reportFatalError(Unknown Source) at org.apache.xerces.impl.XMLScanner.scanAttributeValue(Unknown Source) at org.apache.xerces.impl.XMLNSDocumentScannerImpl.scanAttribute(Unknown Source) at org.apache.xerces.impl.XMLNSDocumentScannerImpl.scanStartElement(Unknown Source) at org.apache.xerces.impl.XMLNSDocumentScannerImpl$NSContentDispatcher.scanRootElementHook(Unknown Source) at org.apache.xerces.impl.XMLDocumentFragmentScannerImpl$FragmentContentDispatcher.dispatch(Unknown Source) at org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown Source) at org.apache.xerces.parsers.XML11Configuration.parse(Unknown Source) at org.apache.xerces.parsers.XML11Configuration.parse(Unknown Source) at org.apache.xerces.jaxp.validation.StreamValidatorHelper.validate(Unknown Source) at org.apache.xerces.jaxp.validation.ValidatorImpl.validate(Unknown Source) at javax.xml.validation.Validator.validate(Validator.java:124) at org.apache.oozie.workflow.lite.LiteWorkflowAppParser.validateAndParse(LiteWorkflowAppParser.java:176) ... 24 more 2022-08-28 19:24:49,493 ERROR org.apache.oozie.command.coord.CoordActionStartXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[Subject3 - 예약] JOB[0000003-220828190147543-oozie-oozi-C] ACTION[0000003-220828190147543-oozie-oozi-C@8] Failing the action 0000003-220828190147543-oozie-oozi-C@8. Because E0701 : E0701: XML schema error, An invalid XML character (Unicode: 0x8) was found in the value of attribute "name" and element is "workflow-app".
- 미해결15일간의 빅데이터 파일럿 프로젝트
cloudera 로그인후 "Cloudera Enterprise 평가판이 만료 되었습니다." 처리 하는 방법을 알고 싶습니다.
클라우데라 로그인후 Selection Edition에서 강의 시간에 제시 되었던 ""Cloudera Enterprise 체험판" 내용이 없고, Express 와 Enterprise중에 선택할수 밖에 없습니다. Express 로 진행해본결과 여러 설정에 에러가 납니다. 해결 방법이 있을까요?VirtalBox6.1.36 +PilotProject3VM을 사용했습니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hbase 에러 관련
안녕하세요! 탐색 파일럿 실행 4단계를 수행하다가 Workflow에서 에러가 발생해서 원인을 찾아가다보니 SmartCar_Drive_Info 테이블을 조회할 때 아래같은 에러가 발생하더라구요.. 그런데 저 테이블은 Hbase의 DriverCarInfo 테이블을 가지고 만들었던거 같아서 hbase shell로 들어가 DriverCarInfo 테이블을 scan 해보니 아래와 같은 에러가 발생했습니다. 전에 Hbase에 테이블 생성하고 Hue에서 확인했을 때는 잘 적재되어 있었는데 갑자기 이런 에러가 발생하네요.. 어떻게 해결해야할까요??
- 미해결15일간의 빅데이터 파일럿 프로젝트
HiveQL 쿼리 실행 시 에러
안녕하세요! 질문을 너무 자주하는 것 같은 느낌이 들지만....(하핫..) 그래도!! 아래와 같이 HiveQL 쿼리문을 실행해보니, Job 부분에서 에러 메세지가 발생했습니다. 그런데 에러가 떴는데도 쿼리문 실행 결과는 잘 나왔구요... 아래의 에러가 발생한 원인과 앞으로 실습을 진행함에 있어서 문제가 되는지 궁금합니다! * 에러 메세지 500 Server Error: Server Error for url: http://server02.hadoop.com:8042/node/containerlogs/admin?doAs=admin Error 500 Server Error HTTP ERROR 500 Problem accessing /node/containerlogs/admin. Reason: Server ErrorCaused by:java.lang.ArrayIndexOutOfBoundsException: 4 at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.containerLogPageRedirectPath(NMWebAppFilter.java:81) at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.doFilter(NMWebAppFilter.java:62) at com.sun.jersey.spi.container.servlet.ServletContainer.doFilter(ServletContainer.java:829) at com.google.inject.servlet.ManagedFilterPipeline.dispatch(ManagedFilterPipeline.java:119) at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:133) at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:130) at com.google.inject.servlet.GuiceFilter$Context.call(GuiceFilter.java:203) at com.google.inject.servlet.GuiceFilter.doFilter(GuiceFilter.java:130) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.security.http.XFrameOptionsFilter.doFilter(XFrameOptionsFilter.java:57) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.security.authentication.server.AuthenticationFilter.doFilter(AuthenticationFilter.java:644) at org.apache.hadoop.security.authentication.server.AuthenticationFilter.doFilter(AuthenticationFilter.java:592) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter.doFilter(StaticUserWebFilter.java:110) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.http.HttpServer2$QuotingInputFilter.doFilter(HttpServer2.java:1553) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.apache.hadoop.http.NoCacheFilter.doFilter(NoCacheFilter.java:45) at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1767) at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:583) at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143) at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:548) at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:226) at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1180) at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:513) at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:185) at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1112) at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:119) at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:134) at org.eclipse.jetty.server.Server.handle(Server.java:539) at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:333) at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:251) at org.eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:283) at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:108) at org.eclipse.jetty.io.SelectChannelEndPoint$2.run(SelectChannelEndPoint.java:93) at org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.executeProduceConsume(ExecuteProduceConsume.java:303) at org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.produceConsume(ExecuteProduceConsume.java:148) at org.eclipse.jetty.util.thread.strategy.ExecuteProduceConsume.run(ExecuteProduceConsume.java:136) at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:671) at org.eclipse.jetty.util.thread.QueuedThreadPool$2.run(QueuedThreadPool.java:589) at java.lang.Thread.run(Thread.java:748) (error 500)
- 미해결15일간의 빅데이터 파일럿 프로젝트
HDFS Under-Replicated Blocks 문제...
안녕하세요! Hive와 우지를 설치하는 과정에서 HDFS의 구성에 문제가 발생함이 확인되어 질문드립니다 ㅜㅜ 아래와 같이 "Under-Replicated Blocks" 문제가 발생한 경우에는 어떻게 대처를 하면 될까요...?
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hive 설치 관련 문의
안녕하세요! 현재 제가 고사양 PC로 실습을 따라서 진행하고 있는데, 강의에서는 저사양을 기준으로 실습을 진행하셔서 아래와 같이 Hive 설치 시 설정들을 모두 "server02"로 해주셨더라구요. 고사양 PC의 경우, 3개 모두 "server01"로 설정해주면 될까요?