Thumbnail
BEST
데이터 사이언스데이터 엔지니어링

15일간의 빅데이터 파일럿 프로젝트대시보드

(4.9)
90개의 수강평 ∙ 1,022명의 수강생
132,000원

월 26,400원

5개월 할부 시
지식공유자: Big.D
총 128개 수업 (22시간 48분)
수강기한: 
12개월
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가공유
  • Jake 프로필Jake
    2023-12-111097784

    강의가 만들어진게 2017년이면 6년 전인데 최신기술을 배우기에는 너무 오래된 내용이 아닌지 문의를 드립니다. 아직 빅데이터처리나 AI 등에 대한 개념이 부족하지만 해당 강의를 통해서 기본을 이해하고 싶습니다.

    Big.D
    Big.D
    Big.D
    2023-12-11301916

    안녕하세요! Jake님! 강의가 개설된건 2021년 3월 입니다. ^^ 책이 17년도에 1판, 20년도에 2판이 출간이 되었습니다~ Jake님이 생각 하신것처럼 빅데이터/인공지능 등 관련 기술들은 매우 빠르게 변하고는 있습니다. 하지만 주요 제반기술과 아키텍처엔 큰 변화는 없고요.. 특정 영역의 소프트웨어와 기능들이 빨리 업그레이드 되고, 발표 되고 있는 상황입니다. 빅데이터 및 AI의 모든 기술과 기능들을 전부 쫓아가는 것은 불가능 합니다. 대신 본 강의에서는 파일럿 프로젝트를 통해 핵심 기능과 기술들을 직접 경험해 보면서, 빅데이터 미니 프로젝트를 처음부터 끝까지 완성해 보는 실습 위주의 강의 입니다. 이 경험을 통해 수강생분들의 상황에 맞는 전문 영역에 좀더 집중 하게 하는 강의로 기획 되어 있습니다. 파일럿 프로젝트에서만 사용하는 대표 S/W만 20개가 넘기 때문에 초반엔 많이 어렵게 느껴질 수 도 있습니다. 과정에 있어서 많은 실수와 문제들이 실제 프로젝트 만큼 발생 하기도 하고, 해결해 나가는 방법도 배우는 강의 입니다. 얘기가 길어 졌네요...^^; 강의가 개설된건 2021년 3월이고 2년이 좀 지났지만.. 단순히 기술뿐 아니라 빅데이터의 큰 숲을 보게 하는 강의라 생각하시면 될 것 같습니다. -빅디 드림

  • 0128ja 프로필0128ja
    2023-10-191052132

    안녕하세요! 저도 맥북 유저입니다 ㅠㅠ VirtualBox 대신 aws 인스턴스를 이용해 구축한 redhat linux(centos 7) 서버 환경에서는 실습이 불가능할지요?

    Big.D
    Big.D
    Big.D
    2023-10-19290867

    안녕하세요! "0128ja"님! aws에서 파일럿 환경을 만들려면, 초기 셋업이 강의 내용과 매우 다르기 때문에 진행이 어렵습니다. TT 그래서 PC에서 빅데이터 파일럿 환경과 기술을 익히고, 이를 클라우드 환경에서 적용해 보는 분들도 왕왕 있습니다. 현재 클라우드 환경에서 빅데이터 기술의 책과 강의도 준비중에 있는데요..이제 시작 단계라 시간이좀 걸릴것 같습니다. ^^;; 쌀쌀해 지는 날씨에 감기 조심하세요~ -빅디 드림

  • Jieun Oh 프로필Jieun Oh
    2023-09-251026650

    맥북 m2 에어를 사용하는데 실습이 가능할까요?

    Big.D
    Big.D
    Big.D
    2023-09-25286610

    안녕하세요! "Jieun Oh"님! 아직은 m1, m2를 위한 VirtualBox가 베타버젼으로 안정화 되지 않은것으로 확인 됩니다. 아쉽지만 m2환경에서의 실습은 좀더 시간이 있어야 할 것 같네요..TT 즐거운 추석 보내세요~ -빅디 드림

  • 눈물이많아요 프로필눈물이많아요
    2023-08-28993988

    강사님 수강 전 질문이 있습니다. 1) 스마트 카 로그 시뮬레이터는 강사님께서 직접 만드신 Dummy Data 생성기라고 이해하면 될까요? 2) 프로젝트가 완료 된 후, 수강자가 해당 프로젝트를 확장할 수 있는 건덕지가 많을까요?

    Big.D
    Big.D
    Big.D
    2023-08-29282300

    안녕하세요! "눈물이많아요"님! 닉네임이 독특 하시네요...^^ 아래 답변 드립니다~ 1) 스마트 카 로그 시뮬레이터는 강사님께서 직접 만드신 Dummy Data 생성기라고 이해하면 될까요? -> 네~ 맞습니다. 스마트카의 상태정보와 운전 데이터를 배치/실시간으로 생성하는 시뮬레이터 입니다. 2) 프로젝트가 완료 된 후, 수강자가 해당 프로젝트를 확장할 수 있는 건덕지가 많을까요? -> 건덕지는, 당연히 많습니다. ^^;; 파일럿 프로젝트 형식으로 다양한 기술요소와 역할들을 직접 경험해 보기 때문인데요.. 아래 URL을 책과 강의에서 미쳐 다루지 못했던 내용들을 별도의 유투브 강의로 만들어 올려 놓은 확장하기 입니다. https://bit.ly/bigdata2nd 확장은 파일럿 프로젝트를 완료 후, 본인의 경험과 역량에 따라 다양하게 시도해 보실 수 있을겁니다. - 빅디 드림

  • minsubrother 프로필minsubrother
    2023-08-15977839

    강의에서 실시간데이터를 활용하는데, 제가 따로 python으로 실시간 API를 활용해서 API호출시, 데이터를 가져오도록 구성했는데, 가능한 부분일까요? 실시간 데이터를 구하기가 너무 어려워서... 찾아봐도 api를 통한 호출방법밖에는 없네요.. 다만 airflow를 활용해서 30분단위로 해당 url를 통해 데이터를 받아와서 mysql에 적재하고 있는데, 이러면 "실시간"이라는 데이터의 취지에 어긋나는거겠죠..? 취준생이다보니, 프로젝트는 필요한데, 무엇부터 발판을 삼아야할지 막막하네요

    Big.D
    Big.D
    Big.D
    2023-08-15279548

    네~ minsubrother님! 실시간 처리는 데이터의 발생량과 빈도, 업무요건과 아키텍처 상황에 따라 매우 다양하게 정의됩니다. 이건 다시말해 정답이 없다는 얘기 입니다. ^^ Airflow의 워크플로우로 파이프라인을 만들고, 배치 실행의 주기를 아주 짧게 해서 처리할 수 있으면.. 이또한 실시간 이라 할 수 있습니다. 그리고 minsubrother님께서 만드신 환경이 실시간이냐 아니냐가 중요해 보이진 않습니다. 말씀하신 구성만으로도 취업에 부족함이 없는 포트폴리오로 보입니다~ ^^ 참고로 강의에선 스마트카의 실시간의 상황을 극대화 하기위해 자체적인 시뮬레이터를 이용합니다. 이 시뮬레이터가 초당 수백건의 데이터를 발생하고, 이를 수집>처리>분석 하는 과정을 구성하며 배우게 됩니다. -빅디 드림

  • minsubrother 프로필minsubrother
    2023-08-14976700

    안녕하세요. 결제 전에 문의할 사항이 있어서 작성하게 되었습니다. 듀얼부팅으로 윈도우즈, 우분투 20.04 버전이 설치되어있습니다. 우분투 20.04의 경우 가용 가능한 ssd용량이 약 780gb 정도 됩니다. cent os를 설치하는 것으로 되어있던데, 우분투와 비교해서 커맨드 명령어가 달라질까요..?

    Big.D
    Big.D
    Big.D
    2023-08-14279374

    안녕하세요! minsubrother님! 궁금해 하시는 강의 환경을 좀더 설명 드리자면, 다음과 같습니다. 강의 시작전 오라클 버츄얼박스용 가상 이미지로, VM 서버 2개를 제공 드리는데요, 이때 VM서버엔 CentOS 6.x가 이미 설치 및 구성된 상태입니다. 해당 이미지를 오라클 버츄얼박스에 로드만 하시면 되고요~ 강의가 CentOS를 배우는 과정이 아니기 때문에, 간단한 리눅스 명령만 일부 사용하게 됩니다. SSD 용량은 아~주 넉넉해서 좋네요!!! 더 궁금하신 사항 있으시면 질문 남겨주세요~ -빅디 드림

  • 안녕요오 프로필안녕요오
    2023-07-20949385

    선생님 정말 정말 감사드립니다. 은혜 잊지 않고, 열심히 배우겠습니다 :) 🧐👨‍👩‍👧‍👧 🌸

    Big.D
    Big.D
    Big.D
    2023-07-21274184

    안녕하세요! 빅디 입니다. 강의 분량이 많다보니 다소 높은 가격이 책정 되게 되었습니다. 문의 하신 내용에 대해선 할인 및 가격 정책을 인프런 운영팀에서 관리하고 있어서 제가 직접 지원해 드릴 수 있는 방법이 당장은 없지만, 대신 어떻게든 도움을 드리고 싶은데... 이렇게 하면 어떨까요?! 제가 드린 이 답변 내용과 함께 인프런 운영팀에 관련 내용을 문의를 해주시면, 방법을 찾아 보도록 하겠습니다. 꼭! 인프런 운영팀에 문의해봐 주세요~ -빅디 드림

  • eunju_24183 프로필eunju_24183
    2023-07-07932385

    안녕하세요! 강의 구매 전 궁금한 것이 있어 문의드리게 되었습니다. 강의 소개에 보면 2대의 가상 서버를 제공한다고 쓰여있는데요, 가상 서버에 URL을 통한 접속인지 궁금합니다! 강의를 들으며 실습을 회사 PC로 진행할 예정인데, 회사 보안으로 인하여 가상 서버에 접속할 수 있을지 걱정이 됩니다. 감사합니다. :)

    Big.D
    Big.D
    Big.D
    2023-07-07271115

    안녕하세요! eunju_24183님~ 가상서버 이미지를 다운로드 받아서, 실습 PC 버츄얼박스 프로그램에서 다운받은 가상서버 이미지를 실행 하는 구조입니다. 이후 실습PC내의 접속 프로그램(Chrome, Putty 등)으로 PC내에 설치한 가상서버의 접속을 하는데, 로컬 URL이 사용되기는 합니다. 아시다시피 회사의 보안 정책에따라 가성머신에 대한 사용과 로컬 네트워크 사용을 차단하는 경우가 왕왕 있으니, 확인해 보시고 진행 하시는게 좋을것 같습니다. -빅디 드림

  • jhoonpaik 프로필jhoonpaik
    2023-05-31889616

    안녕하세요. 강의 구매 전 문의드릴게 있어서 이렇게 글을 남겼습니다. 현재 노트북이 Mac m1이기 때문에 로컬에서는 Virtual box가 작동하지 않습니다. 대신 회사 서버에 centos 설치하고 virtualbox에서 리눅스 설치한 뒤, 하둡환경 셋팅 및 cloudera 설치한 상태입니다. 그러므로 서버에서 프로젝트를 진행하려고 하는데 이 경우, 강의 프로젝트를 진행하는데 문제가 없는지 궁금합니다. 특히, 스마트카 로그시뮬레이터를 다운받아 작동시키는데 이상이 없는지 궁금합니다.

    Big.D
    Big.D
    Big.D
    2023-05-31263408

    안녕하세요! "gk11123"님! 강의에서 제공드린 VM 이미지를 이용하지 않고...직접 환경 셋업을 하셨다는 얘기신지죠?! 만약 그렇다면 강의에서 제공드린 환경과 상이한 것들이 있어, 좀더 환경구성에 있어 신경을 쓰셔야 할 것들이 많습니다. 예를들어 Java 버젼으로 인한 SW들의 의존성 문제가 대표적 입니다. (참고로 파일럿 프로젝트 Java 1.8x 환경에 최적화 되어 있습니다.) 만약 강의에서 제공드린 VM Server01/02를, 설치하신 VirtualBox에 임포트해 사용 하신다면.. 파일럿 프로젝트 진행에 전~혀 문제 없습니다!!! 아마도 회사 서버 컴퓨팅 파워가 빵빵해서, 좀더 쾌적하게 파일럿을 진행 하실 수 있을 겁니다. ^^ 참고로 스마트카 로그시뮬레이터는 위 두경우와 상관없이 Java 1.8 이상 환경이면 잘 잘동합니다~ -빅디 드림

  • egs41 프로필egs41
    2023-04-03834919

    안녕하세요 빅디 님, 저는 빅디님이 집필하신 '실무로 배우는 빅데이터 기술 개정2판' 을 구매하여 학습하고 있습니다. insert overwrite directory '/home/pilot-pjt/mahout-data/recommendation/input' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select hash(car_number ), hash(item), score from managed_smartcar_item_buylist_info 요 hiveQL 실행 시 0%에서 진전이 전혀 없습니다. 이래 해보고 저래 해봐도 안되어서 시간만 보내고 있기에 hash 처리가 완료된 000000_0 파일 송부 부탁드립니다 ㅠ 제 이메일 주소는 egs41@naver.com 입니다~!

    Big.D
    Big.D
    Big.D
    2023-04-04252612

    안녕하세요! 빅디 입니다. 요청하신 파일은 금일중 메일로 보내 드리겠습니다~ -빅디 드림

  • 앵콜요청금지 프로필앵콜요청금지
    2023-03-08808064

    안녕하세요 팀 프로젝트로 빅데이터 활용을 생각하고 있는데 집필하신 '실무로 배우는 빅데이터 기술'로 충분할까요? 동영상강의와의 차이가 궁금합니다. 인프런 강의 미리보기에서 80%기반으로 한다고 하셔서 고민되서 질문드려요

    Big.D
    Big.D
    Big.D
    2023-03-09247296

    안녕하세요! 빅디 입니다. 동영상 강의에선 책의 내용을 좀더 쉽게 설명하고, 책에서 미쳐 다루지 못했던 내용들을 보완 했습니다. 오픈소스 기반의 다양한 패키지들을 설치하고 사용하는데 익숙치 않다면, 책의 내용이 좀 어려울 수 있습니다. 그래도 우선 책으로 한번 도전해보시고요..진행이 어렵다면 동영상 강의를 추천 드립니다. ^^ -빅디 드림

  • egs41 프로필egs41
    2023-02-16786130

    안녕하세요 빅디 님, 저는 빅디님이 집필하신 '실무로 배우는 빅데이터 기술 개정2판' 을 구매하여 학습하고 있습니다. 60일 제한이 있는 cm7로 해보고 있는데요. hbase 테이블 생성하는 부분까지 진도를 나갔는데 hbase에 적재가 안되는 부분을 해결하지 못하여 cm6을 vm으로 말아놓으신 이미지를 받고 싶습니다. (고사양용 3VM) 도서 구매자에게도 VM 제공해주시면 정말 감사하겠습니다 ㅜㅜ

    Big.D
    Big.D
    Big.D
    2023-02-16242718

    안녕하세요! egs41님! 책에선 2VM을 구글 드라이브를 통해 제공 드리고 있는데요... 3VM의 경우 구글 드라이브 용량 문제로 올려 놓지 못하고 있습니다. TT 그리고 추천드리는건 2VM 인데요...VM의 차이로 실습 과정과 경험이 달라 지는건 없기 때문입니다. 오히려 고사양의 PC에서 2VM으로 쾌적하게 실습을 진행 하는걸 추천 드립니다~ ^^ - 빅디 드림

  • leebk1124 프로필leebk1124
    2023-01-03733329

    안녕하세요! CM 정책 변경으로 제공해주신 VM 이미지를 사용하고 있는데, 그러면 가상머신은 2개만 사용이 가능한걸까요?? 해당 이미지 복사해서 설정 변경을 해봐도 cm에서 server03은 설치가 안되더라구요!

    Big.D
    Big.D
    Big.D
    2023-01-03232142

    안녕하세요! 빅디 입니다. 네~ 맞습니다. 2개의 VM Server로 구성된 이미지를 사용 하시면 됩니다. 만약 고사향의 PC를 가지고 계신다면, 섹션9. 자료실에서 3VM으로 구성된 이미지 파일을 다운로드 받아 진행하시면 됩니다~ -빅디 드림

  • Artisan 프로필Artisan
    2022-11-03685367

    안녕하세요 개정 2판 책을 구매해서 열심히 따라하고있습니다.. 초반부분 yum install openssh* 부분에서 막혀서 여기저기 돌아다니며 이것저것 해보는데 막혀버리니 어찌할 바를 모르겠습니다. 다른분들 답변에서는 간단하게 해결 가능하다고 하시는데 혹시 가르쳐 주실 수 있을까요? ㅜ

    Big.D
    Big.D
    Big.D
    2022-11-03221717

    안녕하세요! Artisan님! 관련 내용은 구매하신 책에 표기 되어 있는, 문의 채널 및 출판사로 연락 주시면 됩니다. 추가로 막힌 부분의 상황을 좀더 상세하게 설명해 주시면 좋을 것 같습니다~ - 빅디 드림

  • Daniel Ryu 프로필Daniel Ryu
    2022-10-15673073

    안녕하세요 현재 mac os m1 을 사용 중인데 본 강의를 실습하는데 있어 문제가 없을까요?  utm을 통해 따로 윈도우를 설치해야할까요?

    Big.D
    Big.D
    Big.D
    2022-10-15218428

    안녕하세요! "Daniel Ryu"님! M1으론 실습이 어렵습니다. TT 본 강의는 파일럿 프로젝트 형식으로 진행이 되고, 이때 파일럿 가상환경을 VirtualBox 프로그램를 이용합니다. M1 칩의 경우 가상화를 지원하지 않아 VirtualBox 실행에 문제가 있습니다. utm을 통해 윈도우가 설치 되었어도, 이후 VirtualBox의 가상화 작업에 문제가 발생합니다. VirtualBox를 지원하는 맥북 또는 윈도우 PC이용을 해주셔야 합니다~ -빅디 드림

  • dslr2002 프로필dslr2002
    2022-09-05643951

    실시간 데이터 처리에 대해서도 학습하는지 궁금합니다.

    Big.D
    Big.D
    Big.D
    2022-09-05210741

    안녕하세요! dslr2002님!! 실시간 데이터 처리는 섹션5 에서 총 19개의 강의로 학습하게 됩니다. 주요 내용으론... 실시간으로 발생하는 로그데이터를 수집과 동시에 처리하는데, 이때 Kafka, Storm, Hbase, Redis 등의 기술을 이용하고 아키텍처링을 하게 됩니다. 여기에 실시간으로 수집된 데이터가 어떻게 활용 되는지도 배우게 됩니다~ - 빅디 드림

  • zpzgmain 프로필zpzgmain
    2022-08-23631331

    동영상 강의가 1년이상 되었는데, 소프트 패키지 변화로 인해서 기본 실습하기가 어려워 졌다고 생각합니다. 책에서 실습하는 파일럿 프로젝트를 완성하는데 문제가 되지 않는지요?

    Big.D
    Big.D
    Big.D
    2022-08-23207893

    안녕하세요! 빅디 입니다. 네~ 엊그제 강의를 올린것 같은데...벌써 1년이네요...^^; 파일럿 프로젝트에선 다양한 S/W를 사용하기 때문에, 우려 하시는 부분이 2가지 정도 있습니다. 먼저 가상화 프로그램 VirtualBox 인데요... 강의에선 Ver 5.x를 사용하는데, 이후 해당 버젼을 공식 사이트에서 지원을 하지 않게 되었습니다. 하지만 최신 버젼으로 사용해도 실습 진행에 문제 되지 않습니다. 두번째는 CentOS의 Yum 미러리스트 설정 문제 인데요.. 요건 미러리스트 정보를 교체하는 간단한 명령으로 해결이 됩니다. 감사합니다. - 빅디 드림

  • 홍태경 프로필홍태경
    2022-03-29492053

    인프런에 데이터 엔지니어 시스템 구축 관련 하둡, 스파크(파이썬), 카프카등 을 디테일하게 배우는 과정이 없는데 혹시 시스템 관련하여 예정중인게 있으신가요ㅠㅠ

    Big.D
    Big.D
    Big.D
    2022-03-29179415

    안녕하세요! 홍태경님! 심화 과정을 생각중이긴 한데..당장 여유가 없어서 진행을 못하고 있습니다. TT 빠른시일내에.. 멋진 내용으로 준비해 보겠습니다!!! - 빅디 드림

  • 강상우 프로필강상우
    2022-03-07467782

    저는 책으로 따라하고있는데 cm6설치문제는 어떻게 진행하나요?

    Big.D
    Big.D
    Big.D
    2022-03-07173608

    안녕하세요! 빅디 입니다. 강의 자료실에서 CM이 기설치된 VM 이미지를 제공하고 있습니다~ - 빅디 드림

  • 전준영 프로필전준영
    2022-01-18406500

    강의를 듣고 싶은 학생입니다. 권장사항의 다른 조건들은 만족을 하나 디스크 용량이 부족합니다. 용량이 90gb이상 확보되어야 한다고 적혀있는데, 현재 로컬 용량이 50gb정도 여유공간이 있습니다. 혹시 수업을 듣는데 큰 지장이 있는 걸까요? 지장이 있다면 혹시 이 부분을 외장하드로 대체할 수 있는지 궁금합니다. 감사합니다.

    Big.D
    Big.D
    Big.D
    2022-01-19162296

    안녕하세요! 전준영님! 50GB 여유공간으론 파일럿 프로젝트 진행이 어렵습니다. 대신, 말씀 하신 외장하드를 이용 하시면 됩니다. 외장하드는 SSD여야 하고요, 90GB 여유공간이 있어야 합니다~ - 빅디 드림