소개
안녕하세요 J.PHIL 입니다 🧑🏻🎓
첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.
'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다 🙏🏻
강의
전체 2수강평
- 빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
- 빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
- 빅데이터 클러스터 구축 패키지; 성공을 향한 로드맵
게시글
질문&답변
2024.06.06
wb.json , pandas.json 파일을 jupyter notebook 환경에서 read 가 안됩니다..ㅠ
네 파일 안을 따로 수정하지 않으셨으면 큰 문제없이 돌아갈겁니다.pyspark를 docker로 실행하셨다고 했는데 도커에서 로컬 파일을 읽으려면 따로 mount가 필요합니다. 아니면 저 인풋파일들을 실행하신 도커 컨테이너안에 복사하신다음 다시 컨테이너내 경로를 정확히 설정하셔서 진행하시면 풀릴 것으로 보입니다.
- 0
- 3
- 227
질문&답변
2024.05.02
[HDFS] Data integrity; checksum 관련 질문
안녕하세요 Kim Jiyu님,제가 대학원 시절에 논문 읽으면서 문뜩 궁금했던 사항인데 같은 질문을 주셨네요."If checksums are corrupted, how could it be resolved?"하둡 원서에서 따르면 HDFS 에서 checksum이 corrupt 될 확률은 매우 희박하므로 따로 대응하지 않는다고 나와있으니 참고하시면 좋을 것 같습니다.
- 1
- 2
- 190
질문&답변
2024.04.28
zookeeper security group 에러
안녕하세요 fade님,지난번에 남겨주신 질문과 비슷한 것 같은데, 현재 작업 환경이 어떻게 되시나요?현재 마스터에서 각 슬레이드 노드끼리 ssh slave01, slave02 이렇게 할때 비밀번호 없이 잘 접속이 되나요?zookeeper port setting이 2181로 잘 설정되었나요? 그리고 각 master, slave01, slave02 2888:3888로 설정이 잘 되었나요? 되었다면 각 관련 slave들에도 접속해서 잘 복사되어서 설정되었는지 확인바랍니다
- 0
- 2
- 209
질문&답변
2024.04.26
jar input output_notice 문의
이상하게 메일로 제가 해당 질문에 알림을 받지 못했네요 😀삭제된걸로 봐서 잘 해결된 듯 하니 화이팅입니다
- 0
- 3
- 228
질문&답변
2024.04.26
안녕하세요. 강의 연장 신청 문의드립니다
네 제가 외부 출장중이라 주말에 확인하고 피드백 드리겠습니다 😀
- 0
- 2
- 262