묻고 답해요
164만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨15일간의 빅데이터 파일럿 프로젝트
과제 5번에서 리눅스 디렉터리에 파일생성이 안되고 워크플로우 오류가 나요 ㅠㅠ
일단은 위 그림처럼 워크플로우가 실패하고요 1번에서 테이블은 생성되고 select결과는 이상없는데 리눅스에 item-buy-list 디렉터리가 만들어지지도 않고 000000_0파일도 안만들어져요 ㅠㅠ 워크플로우 처음부터 다시 만들어보고 모든 프로그램 재시작도 해보고 서버 재시작도 해봤는데 똑같습니다 ㅠ 2번 잡이 자꾸 오류나는데 정확한 오류 내용은 아래와 같습니다.! -default Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] -stdout ~생략~ ================================================================= >>> Invoking Beeline command line now >>> <<< Invocation of Beeline command completed <<< Hadoop Job IDs executed by Beeline: job_1620654879222_0005 java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:410) at org.apache.oozie.action.hadoop.LauncherAM.access$300(LauncherAM.java:55) at org.apache.oozie.action.hadoop.LauncherAM$2.run(LauncherAM.java:223) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:217) at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:153) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:141) Caused by: java.lang.SecurityException: Intercepted System.exit(2) at org.apache.oozie.action.hadoop.security.LauncherSecurityManager.checkExit(LauncherSecurityManager.java:57) at java.lang.Runtime.exit(Runtime.java:107) at java.lang.System.exit(System.java:971) at org.apache.oozie.action.hadoop.Hive2Main.runBeeline(Hive2Main.java:273) at org.apache.oozie.action.hadoop.Hive2Main.run(Hive2Main.java:250) at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:104) at org.apache.oozie.action.hadoop.Hive2Main.main(Hive2Main.java:65) ... 16 more Intercepting System.exit(2) Failing Oozie Launcher, Main Class [org.apache.oozie.action.hadoop.Hive2Main], exit code [2] Oozie Launcher, uploading action data to HDFS sequence file: hdfs://server01.hadoop.com:8020/user/admin/oozie-oozi/0000000-210510225532555-oozie-oozi-W/hive-ae83--hive2/action-data.seq Stopping AM Callback notification attempts left 0 Callback notification trying http://server02.hadoop.com:11000/oozie/callback?id=0000000-210510225532555-oozie-oozi-W@hive-ae83&status=FAILED Callback notification to http://server02.hadoop.com:11000/oozie/callback?id=0000000-210510225532555-oozie-oozi-W@hive-ae83&status=FAILED succeeded Callback notification succeeded -stderr ~생략~ INFO : 2021-05-10 22:59:59,830 Stage-1 map = 0%, reduce = 0% INFO : 2021-05-10 23:00:08,289 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 2.29 sec INFO : 2021-05-10 23:00:22,236 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 5.16 sec INFO : MapReduce Total cumulative CPU time: 5 seconds 160 msec INFO : Ended Job = job_1620654879222_0005 INFO : Starting task [Stage-0:MOVE] in serial mode INFO : Moving data to local directory /home/pilot-pjt/item-buy-list from hdfs://server01.hadoop.com:8020/tmp/hive/admin/f218517c-6d76-45de-8e87-84b71fc23367/hive_2021-05-10_22-59-45_407_3168538147024318726-3/-mr-10000 ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://server01.hadoop.com:8020/tmp/hive/admin/f218517c-6d76-45de-8e87-84b71fc23367/hive_2021-05-10_22-59-45_407_3168538147024318726-3/-mr-10000 to destination /home/pilot-pjt/item-buy-list INFO : MapReduce Jobs Launched: INFO : Stage-Stage-1: Map: 1 Reduce: 1 Cumulative CPU: 5.16 sec HDFS Read: 5659317 HDFS Write: 490938 HDFS EC Read: 0 SUCCESS INFO : Total MapReduce CPU Time Spent: 5 seconds 160 msec INFO : Completed executing command(queryId=hive_20210510225945_c6f3077a-4f98-4f93-9c78-bfde752cbb1d); Time taken: 37.539 seconds Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://server01.hadoop.com:8020/tmp/hive/admin/f218517c-6d76-45de-8e87-84b71fc23367/hive_2021-05-10_22-59-45_407_3168538147024318726-3/-mr-10000 to destination /home/pilot-pjt/item-buy-list (state=08S01,code=1) Closing: 0: jdbc:hive2://server02.hadoop.com:10000/default -syslog Unable to locate 'syslog' log for container container_1620654879222_0004_01_000001 참고로 하이브쿼리는 선생님 코드 모두 복붙했고요 워크플로우는 아래와 같습니다! 가르침주시면 감사하겠습니다 ㅎㅎ
-
미해결따라하며 배우는 노드, 리액트 시리즈 - 유튜브 사이트 만들기
npm run dev오류
npm run dev 하면 밑에 오류가 뜹니다. $ npm run dev npm ERR! missing script: dev npm ERR! A complete log of this run can be found in: npm ERR! C:\Users\박수연\AppData\Local\npm-cache\_logs\2021-05-10T13_49_20_336Z-debug.log server>config>dev.js module.exports = { mongoURI:'mongodb+srv://anny:<password>@0413.8kle6.mongodb.net/myFirstDatabase?retryWrites=true&w=majority' } <password>부분을 비밀번호로 바꾸고 실행했는데도 안되네요...
-
미해결설계독학맛비's 실전 Verilog HDL Season 1 (Clock부터 Internal Memory까지)
초급 강의에 이어 다음 레벨의 강의도 계획되어 있으신지 궁금합니다.
유익하게 초급강의 잘 들었습니다. 혹시 다음 레벨의 강의도 계획되어 있으신지 궁금합니다. (ex 현업에서 필요한 내용 위주)
-
미해결[백문이불여일타] 데이터 분석을 위한 고급 SQL 문제풀이
set 1번 2번 문제 입니다.
안녕하세요 강사님 강의 잘 듣고 있습니다! set 1번의 2번 문제의 해석을 듣는 중 { inner join hackers as h on h.hacker_id = t.hacker_id group by h.hacker_id, h.name having total_score != 0 order by total_score desc, h.hacker_id } 부분에서 왜 group by시 h.name도 포함되는 모르겠습니다 h.hacker_id와 h.name은 각각 하나씩 연결되었음으로 h.name이 없어도 실행 되어야 할 것 같습니다. 또한 h.name을 제거하였을때 error가 발생하였는데 왜 발생하는지도 모르겠습니다. 좋은 강의 올려주셔서 감사합니다
-
미해결작정하고 장고! Django로 Pinterest 따라만들기 : 바닥부터 배포까지
32강 완료하고 로그아웃시 리다이렉트 안되어서 문의드립니다.
안녕하세요. http://127.0.0.1:8000/accounts/detail/7 상태에서 (프로필 화면) 로그아웃을 하면 리다이렉트가 되어야 하는데 그냥 그자리에 머물러있습니다. http://127.0.0.1:8000/accounts/hello_world/ 이 페이지에 접속한 상태에서 로그아웃을 하면 정상적으로 리다이렉트가 잘 됩니다. 바로 로그인 눌러보면 (url창 보면 넥스트부분 잘 들어가있구요. http://127.0.0.1:8000/accounts/login/?next=/accounts/hello_world/) 로그인 후에도 리다이렉트가 잘 됩니다. 유독 마이페이지 누르고 프로필 화면에서 로그아웃 했을 경우 리다이렉트가 안되는데 어디를 확인해보면 좋을까요? 혹시 지금 이 상태가 강의 진행상 정상인가요? ㅜㅜ
-
미해결파이썬 무료 강의 (활용편1) - 추억의 오락실 게임 만들기 (3시간)
character_x_pos와 character_to_x 차이
x_pos와 to_x를 별개로 두는 이유가 있나요?? to_x 없이 LEFT KEY를 눌렀을 때 (x_pos) - (x_speed)를 하면 동일한 효과를 받을 수 있지 않나요? 지금 제 환경이 환경인지라 컴파일을 할 수 없어서 죄송합니다..
-
미해결[C#과 유니티로 만드는 MMORPG 게임 개발 시리즈] Part3: 유니티 엔진
UI_Base의 _objects에 동일한 typeof(GameObject) 가 두 번 키값으로 들어갈 수 있나요?
안녕하세요 Bind<GameObject>가 UI_Inven에서 한번 UI_Inven_Item에서 또 한 번 일어나는데 그럼 키값이 중복되지 않나요? (근데 또 디버그해보면 항상 _objects 딕셔너리는 count가 1이더라구요 - Bind했던 모든 아이들이 차곡차곡 딕셔너리에 쌓이는게 아니라 어떤 계기에 의해서 (init할때마다라던지) 초기화가 되나요?) 감사합니다.
-
미해결실전! Querydsl
Spring Data JPA와 Repository 구현 클래스 동시사용
안녕하세요. Spring Data JPA를 상속받은 Repository와 RepositoryCustom, RepositoryImpl가 존재하는데 Repository의 반환 Type이 해당 Entity라면 RepositoryImpl에서 구현한 메소드의 반환 Type 또한 해당 Entity로 반환해야하는건가요?? 이에 대한 해결책은 단순히 구현한 클래스를 사용하는 방법밖에 존재하지 않나요??
-
미해결스프링 핵심 원리 - 기본편
DAO 관련 질문드립니다.
안녕하세요. 김영한님. 수업에 직접적으로 언급된 내용은 아니지만 업무를 하다 궁금한게 생겨 이렇게 질문 드립니다. 현재 회사에서 사용하는 Spring 프로그램이 https://www.egovframe.go.kr/wiki/doku.php?id=egovframework:rte2:psl:dataaccess:mybatisguide "3.1 기존 DAO 형태로 사용하는 경우"를 따르고 있습니다. DAO라고 명시된 파일은 mybatis에 접근하는 sqlSession만 작성해서 return하고, 그 전에 Service에서 모든걸 처리하고 필요한 해당 DAO를 Service가 호출 하여 DB에 접근합니다. 궁금한 부분은 강의에서 언급된 @Repository를 사용한 interface 로 Service에서 필요한 로직을 처리하고, Service 마지막에 sqlSession으로 return 해주것과 큰 차이가 있는지 궁금합니다. 왜 굳이 한번더 감싸(?) 주는지 잘모르겠습니다. 이렇게 구현해야 할 특별한 이유가 있을까요?
-
미해결파이썬 무료 강의 (기본편) - 6시간 뒤면 나도 개발자
변수
영상 강의에 나와있는데로 적었는데 아무화면도 나오지 않네요.. 어떻게 해야하는지 알려주시면 감사하겠습니다.
-
미해결작정하고 장고! Django로 Pinterest 따라만들기 : 바닥부터 배포까지
24강에서 detail.html을 만들때 git add를 하지않는 이유는 무엇인가요?
이전 강의에서도 새로운 html을 만들 때 깃 add cancle 이 있을때 add를 하지 않는 경우가 있었습니다. 들으면서 왜 add를 하지 않는지에 대한 의문이 들어서 질문 남깁니다. 이 부분은 그냥 본인 마음대로 하면 되는것인가요 아니면 하지 말아야하는 이유가 존재해서 그런건가요?
-
미해결[인공지능 컴퓨터비전] 20장의 사진으로 딥러닝 모델 만들기
오류사항 질문
삭제된 글입니다
-
해결됨[C++과 언리얼로 만드는 MMORPG 게임 개발 시리즈] Part1: C++ 프로그래밍 입문
함수가 저장되는 메모리에 대해서..
함수 이름이 함수 내용이 시작하는 지점을 가리키고 있다면 작성된 코드(명령어)의 양이 많을 수록 프로그램 실행 시 메모리에서 차지하고 있는 용량이 많아지게 되나요?
-
미해결[리뉴얼] Node.js 교과서 - 기본부터 프로젝트 실습까지
npm module 설치
npm init 을 하지 않은 상태에서 (package.json) 이 없는 상태에서 npm i express 와 같이 모듈을 다운받으면 어떻게 되나요? 다운은 되는 걸 확인했는데 어디에 저장이 되고 어떤 과정을 거치는지 궁금합니다!
-
미해결[리뉴얼] 처음하는 파이썬 데이터 분석 (쉽게! 전처리, pandas, 시각화 전과정 익히기) [데이터분석/과학 Part1]
6분 55초 구문
여기서 왜 꼭 aggregate를 써야 하나요? 열을 지정하지 않고 그냥 groupby다음에 .count()하고 나중에 골라내도 상관없는 것 아닌가요?
-
미해결실습으로 배우는 AWS 핵심 서비스
다음에는 중/고급자를 위한 AWS 강의 개설 부탁 드립니다.
안녕하세요, 강사님 덕분에 AWS 의 기본 개념에 대해 잘 이해할 수 있어 정말 좋았습니다. 다음에는 아래의 내용으로 중/고급자를 위한 AWS 강의 개설 부탁 드립니다. ================================================== AutoScaling with Multi AZ, ELB, Nginx, Global Accelator, WAF, Aurora for mysql, Route 53 for dns Shiled Advanced ( to protect DDoS), ECS( or EKS)를 유기적으로 Hands-On으로 진행하는 강의를 준비해주시면 감사하겠습니다.
-
미해결윤재성의 만들면서 배우는 Spring MVC 5
pom.xml 에러 문의드립니다.
pom.xml 강의자료에 올라와있는 코드를 그대로 복사하여도 라이브러리셋팅에서 오류가 납니다. <dependencies> <!-- https://mvnrepository.com/artifact/javax.servlet/javax.servlet-api --> <dependency> <groupId>javax.servlet</groupId> <artifactId>javax.servlet-api</artifactId> <version>${javax.servlet-version}</version> <scope>provided</scope> </dependency> <!-- https://mvnrepository.com/artifact/javax.servlet.jsp/javax.servlet.jsp-api --> <dependency> <groupId>javax.servlet.jsp</groupId> <artifactId>javax.servlet.jsp-api</artifactId> <version>${javax.servlet.jsp-version}</version> <scope>provided</scope> </dependency> <!-- https://mvnrepository.com/artifact/javax.servlet/jstl --> <dependency> <groupId>javax.servlet</groupId> <artifactId>jstl</artifactId> <version>${javax.servlet-version}</version> </dependency> <!-- https://mvnrepository.com/artifact/org.springframework/spring-webmvc --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> <version>${org.springframework-version}</version> </dependency> </dependencies> 이 코드에서 가장 위에 javax.servlet-api dependency에서 오류가 나며, 이 코드를 지울경우에는 아래 디펜던시에서 오류가 납니다. . 오류 화면입니다.
-
미해결오라클 성능 분석과 인스턴스 튜닝 핵심 가이드
Redo Log Buffer 궁금합니다.
안녕하세요 backend개발자 이지만 DB에대해서 깊게 알고싶어서 질문드립니다. Redo Log Buffer에서 DML을 모아서 처리한다고 하셨는데요 . 데이터가 변경되기전에 다른곳에서 데이터를 조회하게된다면 redo log buffer 에서 아직 처리되지 않은 튜플은 어떻게 처리가 될까요? Commit 되기 전의 데이터를 보게될 까요... ? 그렇다면 그런경우 해당 데이터의 정합성에 문제가 있을 수 있는건가요?
-
해결됨Python 엑셀 프로그래밍 - with xlsxwriter
왜 에러가 나는지 모르겠어요
import xlsxwriter workbook = xlsxwriter.Workbook('C:\Users\사용자\Desktop\알고리즘\tutorial_1_1.xlsx') worksheet = workbook.add_worksheet('camp') worksheet.write('a1', 'a') worksheet.write('b1', 'b') worksheet.write('c1', 'c') worksheet.write('d1', 'd') worksheet.write('e1', 'e') worksheet.write('a2', 1) worksheet.write('b2', 2) worksheet.write('c2', 3) worksheet.write('d2', 4) worksheet.write('e2', 5) worksheet.write(2,0, 'a') worksheet.write(2,1, 'b') worksheet.write(2,2, 'c') worksheet.write(2,3, 'd') worksheet.write(2,4, 'e') worksheet.write(3,0, 10) worksheet.write(3,1, 20) worksheet.write(3,2, 30) worksheet.write(3,3, 40) worksheet.write(3,4, 50) workbook.close() 실행을 하면 에러가 납니다 ㅠㅠㅠ File "<ipython-input-8-196d49d449e6>", line 3 workbook = xlsxwriter.Workbook('C:\Users\사용자\Desktop\알고리즘\tutorial_1_1.xlsx') ^ SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape
-
미해결고수가 되는 파이썬 : 동시성과 병렬성 문법 배우기 Feat. 멀티스레딩 vs 멀티프로세싱 (Inflearn Original)
queue 인스턴스의 쓰레드간 공유 문의
안녕하세요, Queue모듈로부터 queue 인스턴스를 생성하는데요, 이 인스턴스는 main함수의 스택에 존재하는 게 아닌가요? 서로 다른 쓰레드 간에는 스택은 공유하지 않는데 어떻게 pipeline을 서로 다른 쓰레드에서 접근 가능한지 궁금하여 문의드립니다. queue 인스턴스가 힙에 존재하나요?