안녕하세요 강의 너무 잘 듣고 있습니다!

Question

안녕하세요 선생님 제가 이 강의를 듣게된 이유가 학교 프로젝트로 빅데이터 관련 프로젝트를 진행해야하기 때문입니다. 빅데이터의 'ㅂ' 자도 몰랐는데 강의를 들으면서 어느정도 개념이 생겨나는 것 같습니다. ㅎㅎ 너무 좋은 강의 감사드려요 들으면서 궁금증이 생겼는데요 지금 큰 단계가 수집 > 적재 > 탐색 > 분석 이 잖아요? 만약에 빅데이터에 관련된 자유주제로 프로젝트를 진행한다 하였을때 제가 이 모든 단계를 혼자서 구현해야할까요? 예를들어 분석만 하는 프로젝트를 진행을 한다하면 분석을 위해 지금까지 해온 수집 적재 탐색 작업을 다 이런식으로 구현을 해야하나요? 빅데이터 관련 자유주제로 프로젝트를 어떻게 진행해야할지 갈피를 못잡아서 이렇게 선생님께라도 조언을 구해봅니다. 추가로, 수집 과정에서 로그 시뮬레이터를 통해 로그 데이터를 얻어오는데 이 자바프로그램은 선생님께서 직접 만드신건가요? 아니면 이런 자료들을 어디서 받아올 수 있는지 궁금합니다. 질문의 내용이 참 두서도 없고 너무 초보적이라 당황스러우실텐데 이해해주시면 감사하겠습니다 ㅠㅠ

Big.D · Answer

안녕하세요! 빅디 입니다. 먼저 강의에 대한 좋은 평가 감사드립니다~ ^^* 주변 아카데미에서 보면 빅데이터 관련 미니 프로젝트를 크게 3가지 유형으로 진행 합니다. 1. 빅데이터 기술 기반 프로젝트 2. 빅데이터 분석 기반 프로젝트 3. 빅데이터 기술+분석 기반 프로젝트 본 강의는 3번에 가깝지만 많은 준비와 기획력, 시간이 필요 합니다. ^^;; 그래서 보통은 개발자/아키텍트에 관심 있으신 분들은 1번으로.. 데이터 엔지니어링/분석에 관심 있으신 분들은 2번으로 진행 합니다. 일반적으로 빅데이터 미니 프로젝트를 준비 한다면 2번으로 많이들 접근을 합니다. (1번 보다는 2번이 포토폴리오 결과물로 좋기 때문인듯 합니다.) 방식은 특정 분석 주제를 정하고...수집/적재가 됐다는 전제 하에 캐글/AI허브 등에서 데이터를 확보 하고, 필요시 일부 크롤링을 진행 합니다. 확보된 데이터 "탐색 > 분석 > 모델링 > 활용" 순으로 접근 하는데..이때 활용쪽에서 간단한 IoT 또는 클라아우드를 이용해 완성도를 높입니다. 보통 분석 주제는 빅데이터 + AI를 결합한 일상에서 편의성 또는 위험감지 관련 주제를 정하시면 좋습니다. 그리고 혼자 진행 하는것 보다는 5~6명 정도가 한조로 빅데이터/AI/클라우드 등 역할을 나줘서 진행 하는 것을 추천 드립니다. 미니 프로젝트를 하며 기술만 배우는 것이 아니라 협업과 커뮤니케이션, 팀웍을 배우는것도 매우 중요하기 때문 입니다. - 빅디 드림 ps. 강의에서 사용된 시뮬레이터는 파일럿 프로젝트를 위해 본인이 직접 개발 했습니다. ^^;;