월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
고사양 환경 적용에 대해서 질문이 있습니다
안녕하세요! 엊그제 강의를 결제해서 잘 듣고 있습니다 고사양 PC 환경이 되어서 3개의 환경을 생성하려고 했는데, 이 방법이 가능한걸까요? 박범님의 경우를 참고해봤는데 답변해주신 내용대로 진행되지 않았습니다 다른 글에 달아주신 답변을 보니 현재는 고사양 환경에서 진행할 수 없다는 답변을 보았는데, 어떤게 맞는걸까요?ㅠㅠ.. 새 호스트를 관리되는 호스트로 집어넣는 방법이 궁금합니다! (가능하다면) 감사합니다. 좋은 주말 저녁 되세요!
- 미해결15일간의 빅데이터 파일럿 프로젝트
hbase 적재 안됨
count 'SmartCarInfo' 해보니 count 0 으로 나옵니다. (고사양 기준으로 hbase는 server01에 설치) 다른 수강생의 질문을 검색해보고 답변해주신 내용대로 실행해보니 storm-kafka 연동 부분에서 문제가 있는 것 같습니다. --- 0. 먼저 스마트카 실시간 로그시뮬레이터를 실행 1. 아래 명령으로 시뮬레이터가 실시간 데이터를 생성중인지 확인 $ tail -f /home/pilot-pjt/working/driver-realtime-log/SmartCarDriverInfo.log ----> 정상 수행 2. 아래 명령으로 Kafka로 데이터가 잘 들어 오는지 확인 $ kafka-console-consumer --bootstrap-server server02.hadoop.com:9092 --topic SmartCar-Topic --partition 0 ----> 정상 수행 3. Storm UI에 접속해 Topology Stats 의 Emitted/Transferred/Ack 카운트가 증가 하는지 확인 Storm-UI : http://server02.hadoop.com:8088 -----> 카운드 증가 안됨 , 또한 다음과 같은 Topology spouts lag error이 확인됨 --> topology 는 정상적으로 등록됨 --> zookeeper 에서 kafka 토픽 등록 여부 확인 다음 에러에서는 어떤 작업을 해야하나요? 확인 부탁드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
Ubuntu로 직접 설치 Cloudera-server 데몬 에러...
Ubuntu로 직접 설치하여 강의듣고있습니다. 보시면 ERROR StatusLogger No log4j2 configuration file found 로 에러가 나오는데 해결방안이 있을까요? - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 미해결15일간의 빅데이터 파일럿 프로젝트
CentOS 대신 Ubuntu 사용가능할까요?
우분투를 메인으로 사용해서 우분투사용하고싶은데 가능할까요? 다른기업은 주로 CentOS 사용해서 사용하는건가요? - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
- 미해결15일간의 빅데이터 파일럿 프로젝트
psycopg2 설치 관련 오류입니다.
------------------------ 안녕하세요! psycopg2 설치시 에러입니다. psycopg2 가 설치되지 않아 hue 설치시 에러가 뜹니다. 어떻게 해야할까요,,
- 해결됨15일간의 빅데이터 파일럿 프로젝트
통합 환경 구성시, server03 문의
안녕하세요, 통합 환경 구성을 통해서 환경을 구축했는데,server03도 함께 운영하고 싶습니다. 그런데 다운로드 파일에는 server02 까지만 있는데, server03은 server02 복제 후, 네트워크 설정을 해주면 될까요? 감사합니다!
- 미해결15일간의 빅데이터 파일럿 프로젝트
Subject-5 workflow 실행 에러
1. workflow5 실행 중 error 발생 [Worflow에서의 ERROR 내용] 2022-05-02 16:26:56,063 WARN org.apache.oozie.action.hadoop.Hive2ActionExecutor: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[subject5 Workflow] JOB[0000006-220502133436893-oozie-oozi-W] ACTION[0000006-220502133436893-oozie-oozi-W@hive-ab5e] Launcher ERROR, reason: Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] 2022-05-02 16:26:56,081 INFO org.apache.oozie.command.wf.ActionEndXCommand: SERVER[server02.hadoop.com] USER[admin] GROUP[-] TOKEN[] APP[subject5 Workflow] JOB[0000006-220502133436893-oozie-oozi-W] ACTION[0000006-220502133436893-oozie-oozi-W@hive-ab5e] ERROR is considered as FAILED for SLA hive-ab5e 이름의 파일 확인 시 워크플로 두 번째 스크립트 내용 insert overwrite table Managed_SmartCar_Item_BuyList_Info partition(biz_month) 2. Hue에서 작업 섹션에 액세스 시 아래 오류가 발생 HTTPConnectionPool(host='server01.hadoop.com', port=19888): Max retries exceeded with url: /jobhistory/logs/server02.hadoop.com:8041/container_1651465951375_0035_01_000001/1/admin?doAs=admin (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',)) 다른 분의 ERROR 게시 글을 확인하였는데, 언급해주신 내용은 아래와 같습니다.! - HDFS 권한 검사 체크 해제 확인 (O) - superuser group 추가(X) 내용: user 'admin' does not exist. 도움 주시면 감사하겠습니다.!!!!!
- 미해결15일간의 빅데이터 파일럿 프로젝트
Free space가 부족한 이슈 질문있습니다
먼저 휴에서 파일탐색으로 용량을 하나씩 확인했는데 우지 아래에 똑같은 폴더가 4개 4기가씩 먹고 있었습니다 우지 설치할 때 다른거랑 같이 설치하다가 에러나서 3회 재시도했던 기억이나서 오래되어보이는 3개 휴지통으로 보냈습니다 당장은 괜찮아졌는데 시간이 지나니 다시 이렇게 떠서 서버2에 설치파일들이 문제일까 생각했습니다 redis-5.0.7.tar.gz apache-storm-1.2.3.tar.gz zeppelin-0.8.2-bin-all.tgz apache-mahout-distribution-0.13.0.tar.gz 이 녀석들 지울생각인데 지워도 되는지 궁금합니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
Specify Hosts 단계 질문있습니다
안녕하세요여기서 저 체크박스 클릭이 안됩니다! 저는 처음에 VM 2개로 여기까지 진행했다가 고사양에 맞는거 같은데 3개로 해도 되려나 해서 Virtual box에서 서버를 닫고 삭제(하드웨어상 삭제는 안했어요) 후 VM3으로 다시 추가하여 3개를 전부 실행시킨 후 여기까지 진행했습니다. 또 http://server01.hadoop.com:7180/에 접속할 때 보안오류떠서 https://를 빼고 접속했습니다. 도와주세요!
- 미해결15일간의 빅데이터 파일럿 프로젝트
자바 환경변수 질문입니다
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 3.파일럿 PC 환경 구성 - 개발환경 5분 45초에서 Path 변수가 이미 등록되어있어서 편집을 눌렀는데 아래와 같이 나왔습니다. 강의내용과 조금 다르고 전체 값이 안 나와있어서 어떻게 해야할 지 모르겠어요.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니져 접속하기 ERR_CONNECTION_REFUSED 에러
안녕하세요. 클라우데라 매니져 접속하기 문제에서 오류가 발생합니다. 프록시도 인터넷에 검색을 해서 변경을 하고 재부팅까지 했으나 계속해서 동일한 오류가 발생합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
스쿱 에러....
안녕하세요 스쿱에서 자꾸 에러가 발생하여 문의드립니다. 전 과정까지는 문제없이 진행하였으나, sqoop export --connect jdbc:postgresql://127.0.0.1:7432/postgres --username cloudera-scm --password acjZt03D1Q --table smartcar_symptom_info --export-dir /user/hive/warehouse/managed_smartcar_symptom_info 위 명령어를 진행하는데 계속 exception이 발생합니다... 원인도 불분명하여 일단 질문 남깁니다... sqoop export --connect jdbc:postgresql://127.0.0.1:7432/postgres --username cloudera-scm --password vsqBur5ygT --table smartcar_symptom_info --export-dir /user/ hive/warehouse/managed_smartcar_symptom_info Warning: /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/log4j-slf4j-impl-2.8.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 22/04/14 21:11:43 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7-cdh6.3.2 22/04/14 21:11:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 22/04/14 21:11:43 INFO manager.SqlManager: Using default fetchSize of 1000 22/04/14 21:11:43 INFO tool.CodeGenTool: Beginning code generation 22/04/14 21:11:44 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM "smartcar_symptom_info" AS t LIMIT 1 22/04/14 21:11:44 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce 22/04/14 21:11:49 ERROR orm.CompilationManager: Could not rename /tmp/sqoop-root/compile/6f489f0c3f57d16ddd9b99ee38d3c452/smartcar_symptom_info.java to /root/./smartcar_symptom_in fo.java. Error: Destination '/root/./smartcar_symptom_info.java' already exists 22/04/14 21:11:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/6f489f0c3f57d16ddd9b99ee38d3c452/smartcar_symptom_info.jar 22/04/14 21:11:50 INFO mapreduce.ExportJobBase: Beginning export of smartcar_symptom_info 22/04/14 21:11:50 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 22/04/14 21:11:52 WARN mapreduce.ExportJobBase: IOException checking input file header: java.io.EOFException 22/04/14 21:11:52 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative 22/04/14 21:11:52 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative 22/04/14 21:11:52 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 22/04/14 21:11:52 INFO client.RMProxy: Connecting to ResourceManager at server01.hadoop.com/192.168.56.101:8032 22/04/14 21:11:53 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /user/root/.staging/job_1649933706082_0003 22/04/14 21:11:54 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:54 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:54 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:54 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:55 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:55 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:55 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:55 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:55 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:56 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:57 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:57 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:58 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:58 WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DataStreamer.closeResponder(DataStreamer.java:986) at org.apache.hadoop.hdfs.DataStreamer.endBlock(DataStreamer.java:640) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:810) 22/04/14 21:11:58 INFO input.FileInputFormat: Total input files to process : 2 22/04/14 21:11:58 INFO input.FileInputFormat: Total input files to process : 2 22/04/14 21:11:58 INFO mapreduce.JobSubmitter: number of splits:5 22/04/14 21:11:58 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative 22/04/14 21:11:58 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. Instead, use yarn.system-metrics-publisher.enabled 22/04/14 21:11:58 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1649933706082_0003 22/04/14 21:11:58 INFO mapreduce.JobSubmitter: Executing with tokens: [] 22/04/14 21:11:59 INFO conf.Configuration: resource-types.xml not found 22/04/14 21:11:59 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'. 22/04/14 21:11:59 INFO impl.YarnClientImpl: Submitted application application_1649933706082_0003 22/04/14 21:11:59 INFO mapreduce.Job: The url to track the job: http://server01.hadoop.com:8088/proxy/application_1649933706082_0003/ 22/04/14 21:11:59 INFO mapreduce.Job: Running job: job_1649933706082_0003 22/04/14 21:12:10 INFO mapreduce.Job: Job job_1649933706082_0003 running in uber mode : false 22/04/14 21:12:10 INFO mapreduce.Job: map 0% reduce 0% 22/04/14 21:12:31 INFO mapreduce.Job: map 100% reduce 0% 22/04/14 21:12:32 INFO mapreduce.Job: Job job_1649933706082_0003 failed with state FAILED due to: Task failed task_1649933706082_0003_m_000000 Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0 22/04/14 21:12:32 INFO mapreduce.Job: Counters: 12 Job Counters Failed map tasks=2 Killed map tasks=3 Launched map tasks=4 Data-local map tasks=4 Total time spent by all maps in occupied slots (ms)=74538 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=74538 Total vcore-milliseconds taken by all map tasks=74538 Total megabyte-milliseconds taken by all map tasks=76326912 Map-Reduce Framework CPU time spent (ms)=0 Physical memory (bytes) snapshot=0 Virtual memory (bytes) snapshot=0 22/04/14 21:12:32 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 22/04/14 21:12:32 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 40.4452 seconds (0 bytes/sec) 22/04/14 21:12:32 INFO mapreduce.ExportJobBase: Exported 0 records. 22/04/14 21:12:32 ERROR mapreduce.ExportJobBase: Export job failed! 22/04/14 21:12:32 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:444) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:930) at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:93) at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:112) at org.apache.sqoop.Sqoop.run(Sqoop.java:146) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:182) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:233) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:242) at org.apache.sqoop.Sqoop.main(Sqoop.java:251)
- 미해결15일간의 빅데이터 파일럿 프로젝트
인메모리 방식의 궁금증
안녕하세요 평소 인메모리 방식에 대해 궁금증이 많은데요... 제플린에서 분석하기 위해 hdfs 파일을 업로드 하는데... 만약 대용량의 데이터를 olap 처럼 활용하기 위해 사용한다면.,.. 어떤 식으로 데이터를 메모리에 보존하게 되나요? 사전에 적재해놓는 건인가요? 예를 들어 ms의 analysis service는 메모리에 대규모 데이터를 적재합니다. spark도 그런 형식으로 하는 것인지 아니면 hadoop file system을 메모리상에 올린뒤 그 뒤에 계속 작업을 진행 하는 것인지 문의드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
임팔라가 빠른 이유
안녕하세요. 보통 스파크나 인 메모리 기반 시스템은 메모리 엔진에 저장하는 과정이 필요한데, 임팔라는 데이터를 별도의 적재 과정이 없는 것 같습니다. 그럼 이미 hive를 통해 처리된 데이터가 메모리에 동시에 적재된 건가요 ?
- 미해결15일간의 빅데이터 파일럿 프로젝트
vm server02 완전히 꼬임 (guru)문제
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. 안녕하세요 강의를 시청중에 구글링으로 해결할 수 없는 문제가 나서 여쭤봅니다.. 이렇게 되었는데 도통 어떻게 해야할지 모르겠습니다. 재부팅으로 해도 다시 뜨고 그래도 클라우데라에서 하둡이랑 주키퍼등등 변경내용 검토까지 가길래 애써 무시하다가 명령세부정보에서 또 오류가 뜨는데 아마 저 guru랑 관련이 있어보입니다. 어떻게 해결해야할까요..?
- 미해결15일간의 빅데이터 파일럿 프로젝트
host 파일 질문
메모장에서 host 파일 수정할 때 server03도 꼭 추가해야 하는 건가요? server 2개로 진행하는데 server03까지 추가하는 것이 궁금해 질문드립니다! 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
실습환경 문의
안녕하세요, 현재 맥북프로14를 사용하고 있는데, 강의를 따라가는데 M1 + 맥 환경에서 수강을 해도 큰 문제가 없을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
배치형 대규모 데이터 적재 관련 질문
안녕하세요, 배치형 데이터 적재 관련해서 질문 드립니다. 배치형 데이터의 경우 Flume이 모니터링 하는 SpoolDir로 데이터가 들어와야 hdfs로 적재가 되는데, 1일 단위로 데이터가 발생하는 현재 상황에서 매일 txt 파일을 spooldir로 직접 mv 해줘야하는 건가요?? 감사합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저에서 자꾸 오류가 나는데 어떻게 해야 할까요??
클라우데라 매니저에서 자꾸 오류가 나는데 어떻게 해야 할까요??
- 미해결15일간의 빅데이터 파일럿 프로젝트
클러스터 설치중 오류
안녕하세요! 선생님 열심히 수강중입니다. 수강중에 이런 문제가 생겨서 질문 드려요! 구글에 검색도 해보았지만 답이 나오질 않아 여쭤봅니다! ㅠㅠ 도와주세요 고성능 말고 저성능버전으로 진행중입니다!