• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

강의자료 문의

22.02.21 21:18 작성 조회수 98

0

안녕하세요. 저작권 관련 문의 드립니다.

'본 교재와 실습 자료는 다른 강의나 블로그에 활용 하시면 안됩니다.' 라는 안내 문구가 있어서요.

학습 내용을 블로그나 Github에 포스팅 하면 안 되는 것이지요?

예시) 

1. 학습 하면서 요약 정리한 내용을 슬라이드 캡쳐 화면과 함께 올릴 수 없음

2. 학습 요약 내용을 블로그에 포스팅 할 수 없음. 개인 소장만 가능.

3. 관련 코드를 Github에 올릴 수 없음.

 

 

답변 2

·

답변을 작성해보세요.

1

안녕하십니까, 

학습 자료와 강의 동영상 캡처는 블로그에 올리시지 않으셨으면 합니다. 

1. 학습 하면서 요약 정리한 내용을 슬라이드 캡쳐 화면과 함께 올릴 수 없음

=> 올려 주시지 않으셨으면 합니다. 

2. 학습 요약 내용을 블로그에 포스팅 할 수 없음. 개인 소장만 가능.

=> 학습 자료를 그대로 적용하는 것이 아닌 본인 만의 내용으로 요약해 주시면 될 것 같습니다. 자료 출처를 밝혀 주시면 좋을 것 같습니다.

3. 관련 코드를 Github에 올릴 수 없음.

=> 실습 코드는 github에 올리시지 않으셨으면 합니다. 

감사합니다. 

 

 

0

홍태경님의 프로필

홍태경

2022.07.16

권 철민 강사님 스파크 강의를 아직 가입하지 않아 질문을 남길 수 없어 이곳에 문의 드립니다

수준 낮은 질문 드리는 점 양해 부탁 드립니다 ㅠ 

 

저는 머신러닝과 딥러닝은 아직 배운 적이 없고 ETL 개발 관련 데이터 엔지니어가 되기 위해 

강사님의 데이터 분석용 SQL 강의 2편을 보는 중인데 데이터 엔지니어 신입 입사 조건에 상당수가 

"스파크 플랫폼을 설치 및 운용 가능"이라는 것이 적혀 있어 강사님의 스파크 강의를 목차를 보고 있는데 

머신러닝 쪽이 들어가 있어 머신러닝을 배워야 하는건가 한 배보다 배꼽이 커진 상황입니다

 

강사님 강의 구매 전 몇 가지 질문이 있습니다. ! 

 

1. 혹시 아직 머신러닝을 할 줄 모르는 데이터 엔지니어의 관점에서 데이터 웨어하우스 구현에 필요한 스파크 강의를 오픈할 계획이 있으신가요?

 

2. 데이터 엔지니어 신입의 관점에서 강사님의 데이터 분석 SQL 강의 이후에 이 스파크 강의를 들어도 유기성이 연결 될까요?

 

3. 추 후 데이터 엔지니어가 되더라도 필연적으로 머신러닝은 준비 해야 할까요..? 데이터 과학자라는 직업은 

석 박사들만 할 수 있다는데 그만큼 할 자신은 없고 얼마만큼.. 준비를 해야 할까요..

 

4. 스파크라는 플랫폼은 ETL 개발을 하시는 데이터 엔지니어보다 머신러닝을 사용하시는 분들이 더 알아야 하는 기술일까요..?

예를 들면

머신러닝을 모르는 데이터 엔지니어가 굳이 스파크를 왜 써? 이런 머신러닝 엔지니어 분들의 전유물이 아니겠죠..?  

 

 

 

 

안녕하십니까, 

오, 여기에 글을 이렇게 남기는 방법도 있군요. 원글 저자이신 abc님에게도 통보가 되서 귀찮으실까봐 살짝 죄송스럽니다만.. 

진로에 대한 확실한 방향성을 잡으셨군요. 좋은 출발이시고, 멋진 결말이 되었으면 합니다. 

 

0. 먼저 머신러닝을 아예 모르신다면 본 강의 수강은 권장드리지 않습니다.  하지만  본강의는 데이터 엔지니어들이 어떻게 머신러닝 모델을 만들기위한 기반 데이터 처리를 Spark에서 수행 하는지 감을 잡을 수 있게 도와 드릴 수 있습니다. 

본 강의는 스파크 기반의 데이터 처리에 대한 부분이 60%, 나머지 머신러닝에 대한 부분이 40% 정도 되기 때문에 만약 들으신다면 머신러닝은 아예 제외하겠다는 각오(?)가 필요합니다. 

1. 엔지니어링 위주의 스파크 강의는 아직 계획에 없습니다. 비용없이 실습환경을 멀티 노드로 구성하기가 어렵고, 개별 수강생 분들의 환경이 동일하지 않을 경우 Q&A가 어려워지기 때문입니다. 

2. 머신러닝 부분을 제외한다면 유기적으로 이어 집니다. 

3. 추후 데이터 엔지니어가 되신다면 먼저 SQL에 대한 확실한 실력을 더 다듬는게 중요합니다. 이제는 성능에 대한 부분까지 고려해서 SQL을 이해 해야 합니다.  

요새는 데이터 엔지니어라고 하면 스파크, 카프카, NoSQL등을 다루는 엔지니어 위주로 생각하는 경향이 있지만, 실제로는 대용량 데이터 처리를 어떻게 효율적으로 할 수 있느냐를 익히는 것이 매우 중요합니다.  그렇다고 스파크를 소홀이 하라는 애기는 아니고, 대용량 데이터 처리의 관점에서 생각하면 내가 어떤 분야에 집중해야 할지 답을 더 빨리 찾을 수 있다는 것입니다. 

그리고 다음으로 중요한 것은 회사의 업무를 빨리 이해하는 것입니다. ETL 전문가는 전사적인 데이터를 통합적으로 다룹니다. 업무와 데이터를 빨리 이해할 수 있도록 RDB, ERD, 업무 모델, 이미 짜놓은 ETL 소스코드들을 계속 들여다 보고, 주변 사람들에게 질문해 나가면서 지식을 습득할 것을 권장 드립니다. 

4. 스파크를 사용하는 많은 회사는 데이터 ETL과 머신러닝을 함께 사용하는 경우가 많습니다. 하지만 데이터 엔지니어는 머신러닝에서 데이터 처리가 어떠한 영향을 가지는지 정도의 이해만 갖추면 된다고 생각합니다. 

감사합니다.