-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트 질문 드립니다.
21.08.17 18:38 작성 조회수 191
0
선생님 안녕하세요?
제목과 같이 탐색 파일럿 실행 4단계에서 스마트카 운전자 운행 로그 생성 실습 중
java -cp bigdata.smartcar.loggen-1.0.jar com.wikibook.bigdata.smartcar.loggen.DriverLogMain20200322 100 &
명령 후
[root@server02 working]# Error: Could not find or load main class com.wikibook.bigdata.smartcar.loggen.DriverLogMain20200322
위의 내용처럼 에러가 나옵니다. 문제가 무엇인지 잘 모르겠습니다.
답변을 작성해보세요.
0
신의비상
질문자2021.08.26
선생님 안녕하세요?
주제영역 5 에서 나온 오류에 대해 해결된 것 같아 글을 올립니다.
지난번과 틀리게 진행한 내용은 creat_table_managde_smartcar_item_buylist_info.hql 입니다. 지난번에는 managed 가 빠져 있었고 지금은 managed가 들어가 테이블로 작성하여 아래처럼 결과 나왔습니다.
아래 캡처 화면에 대해서 궁금한 부분은 putty에 하단에 있는 -- more-- (0%) 입니다. 100% 가 되어야 정상인지 아님 그냥 나온 내용인지 잘 몰라서요....그리고 아래 캡처 내용도 제대로 결과가 나왔는지 확인해 주시면 감사하겠습니다. 수고하세요
Big.D
지식공유자2021.08.26
네~ 문제를 잘해결 하셨습니다. ㅎ
리눅스의 MORE명령에서 more(0%)로 표기되는건 정상입니다.
위 상태에서 데이터를 더 보고자할땐 스페이스바를 계속 누르시면 됩니다.
- 빅디 드림
0
신의비상
질문자2021.08.24
선생님 안녕하세요? 주제영역2 결과는 잘 나왔는데요.... 주제영역 3 에러가 나와 또 다시 질문드립니다.
create_tabel~~~, insert_tabel~~~ 삭제하고 우지 편집기 다시 해도 아래와 같이 에러가 나오네요.
혹시 아래 캡처 화면의 빨간 마킹 부분 때문에 에러가 나오는걸까요?
테이블 아래 생성된 managed_smartcar_symptom_info 는 삭제 가능한가요?
빨간색 마킹된 내용은 위의 create_tabel~~~, insert_tabel~~~ 삭제하고 우지 편집기 다시 해도 변경이 되지 않더라구요....
Big.D
지식공유자2021.08.24
네! 말씀 하신것땜에 그렇습니다. ㅎㅎ
우선 "create_table_managed_smartcar_symptom_info.hql" 의 파일에서 말씀하신 컬럼명이 정확한지 확인해 보셔야 하고요..
speed_p_symptom string
그리고 우지 워크플로우를 삭제하고 실행해도 하이브 테이블은 새롭게 만들어 지지는 않습니다. 아래 하이브 테이블 생성문을 보면.. "if not exists" 명령은 생성할 테이블이 없는 경우만 생성 하라는 조건이 있기 때문입니다.
create table if not exists Managed_SmartCar_Symptom_Info
이땐 Managed_SmartCar_Symptom_Info 테이블을 삭제하고, 우지 워크플로우를 다시 재실행 하면 해당 테이블을 새롭게 생성하면서 문제는 해결 됩니다.
테이블 삭제는 하이브 에디터 창에서 해당 테이블 삭제 쿼리를 실행 하시면 되고요..
삭제 쿼리는 숙제로 드리겠습니다~ ㅎㅎ
신의비상님!
진도는 다소 더디지만..아주 잘하고 계신것 같아서 다행입니다. ^^
- 빅디 드림
신의비상
질문자2021.08.25
선생님 안녕하세요? 삭제 쿼리 아래와 같이 하면 되는지요?
drop table if exists Managed_SmartCar_Symptom_Info (
car_number string,
speed_p_avg string,
speed_p_symptom string,
break_p_avg string,
break_p_symptom string,
steer_a_cnt string,
steer_p_symptom string,
biz_date string
)
row format delimited
fields terminated by ','
stored as textfile;
하이브 에디터 창에서 위와 같이 입력하고 ▶ 눌러 실행하면 되는지요?
아님 위의 내용을 입력하고 저장하면 되는지요?
Big.D
지식공유자2021.08.25
정답은 아니고요...^^
그전에 우선 작성하셨던 쿼리 또는 기타 기능들은 과감하게 실행해 보세요!
어차피 파일럿 환경이고 다양한 잘못된 테스트도 해보고 안되는것을 알아가는 것도 중요합니다.
하이브 테이블 삭제 쿼리는 그냥 DROP 명령에 해당 테이블 명만 표기해 실행 하면 됩니다.
구글에서여 "하이브 테이블 삭제" 요렇게만 검색해 보면 아마 많은 정보들이 나올겁니다.
참고로 많은 개발자, 엔지니어, 분석가들이 이렇게 인터넷 커뮤니티를 통해 정보를 찾습니다.
신의비상님도 해보세요~ - 빅디 드림
신의비상
질문자2021.08.25
안녕하세요?
지금 해당 테이블 삭제하고 나온 결과입니다.
항상 처음 접하는 용어가 많고 그러다 보니 두렵기도 했는데...해보면 정말 간단한 해결이라
허탈하기도 하지만 그래도 제대로 하고 있어 기분이 좋네요! 감사합니다.
신의비상
질문자2021.08.25
선생님 안녕하세요?
주제영역 5 실행 결과 아래와 같이 확인했습니다. 문제는 PuTTY로 확인하는 부분에서 아래 화면 처럼 나오는데요...제가 또 실수를 했는지요? 혹시 플럼, 카프카, 스톰 실행을 하지 않아 나온 문제일까요? 아니면 주제영역 5 실행하면서 빨간색으로 완료된것이 원인일까요?
아래 putty 명령 실행 결과입니다.
0
신의비상
질문자2021.08.18
선생님 안녕하세요?
지금 주제 영역 2 실습을 진행하고 있습니다. 매개변수 관련하여 4개 노드에 각각 working_day=20200322 로
설정을 하면 되는지요? 아니면 insert_table 노드 2개에만 매개변수 working_day=20200322 로 수정하여 저장하면 되는지요?
위 질문을 기다릴수 없어 insert_table 노드 2개에 매개변수 working_day=20200322로 설정하여
정상 작동 하는지 확인했는데요. 아래 캡쳐와 같이 결과가 나오지 않네요....다시 처음부터 해야 될까요????
Big.D
지식공유자2021.08.19
네~ 말씀하신 2개의 노드에만 working_day를 설정하는게 맞습니다.
결과가 조회 되지 않은건 먼저 두곳을 체크해 봐야는데요..
1. 주제영역2 workflow가 정상 실행 되었는지, 아니라면 workflow 종료후 에러 메시는 없는지 확인이 필요합니다.
2.워크플로우 실행에 필요한 원천 데이터 부재인 가능성 인데요, 아래 두개의 테이블에 Select 쿼리를 실행해 데이터가 조회 되어야 합니다.
SmartCar_Drive_Info
SmartCar_Master_Over18
위 2가지른 체크해봐 주세요~
-빅디 드림
신의비상
질문자2021.08.19
제가 말씀하신 내용들에 대해 제가 이해를 하지 못해 확인과 조회를 할 수 없어
아래 처럼 subject2 파일을 다시 확인하고 저장 후 결과를 조회한 화면 캡처입니다.
결국 조인이 되지 않은 상태로 결과가 나와 당황스럽지만...제가 잘못한 부분이 있겠죠!
주제영역 2 설정한 부분을 전부 삭제하고 다시 할 수 있을까요?
0
답변 4