Thumbnail
BEST
데이터 사이언스 데이터 엔지니어링

15일간의 빅데이터 파일럿 프로젝트 대시보드

(4.9)
89개의 수강평 ∙  1,016명의 수강생
132,000원

월 26,400원

5개월 할부 시
지식공유자: Big.D
총 128개 수업 (22시간 48분)
수강기한: 
12개월
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

초급자를 위해 준비한
[데이터 엔지니어링, 데이터 분석] 강의입니다.

"빅데이터+AI 풀스택 개발" - AI에 생명력을 불어 넣는 빅데이터 구축 과정을 파일럿 프로젝트 형식으로 진행합니다. 요구사항을 파악해 단계별로 플랫폼을 구성하고, 스마트카 데이터 탐색과 분석을 수행 합니다.

✍️
이런 걸
배워요!
입문자/초보자도 따라만 하면 빅데이터•AI 프로젝트를 완성
빅데이터•AI 프로젝트의 분석>설계>개발>적용 과정을 이해
대용량 + 실시간 데이터를 처리하면서 분석에 활용하는 방법
스마트카 미니 프로젝트로 빅데이터~AI로의 가치 창출 과정
오픈소스를 프로젝트에 적용하고 아키텍처를 구성하는 방법

15일에 끝장내는 빅데이터+AI 학습!
실전 프로젝트로 재밌게 만들어보세요.

📣 수강 전 확인해주세요!

  • 본 강의는 VirtualBox 기반으로 가상머신 서버 환경을 구성합니다. 맥 M1, M2 모델은 VirtualBox 미지원으로 실습이 불가능하므로 수강 전 실습을 위한 PC 환경을 확인해 주시길 바랍니다.

4차 산업혁명의 핵심기술
빅데이터와 AI를 모두 이해한다!

이 강의는 빅데이터와 AI의 기술 장벽을 넘기 위한 하나의 훈련 도구로 쓰이길 바라며 시작합니다. 특히 대규모 인프라에서 동작하는 복잡한 분산 소프트웨어와 분석 기법이 만들어낸 빅데이터/AI 구현 기술과 동작 원리에 좀 더 비중을 두고 있습니다.

우리 일상에서 이미 흔하게 볼 수 있는 스마트카를 예로 들어볼까요? 똑똑한 스마트카 안에 있는 전장 기술은 주행 거리부터 운행 패턴, 위치나 속도 등 차량과 운전자의 상태를 모니터링하는 다양한 IoT 센서들로 수많은 데이터를 만들어내고 있습니다. 이 정보가 보험이나 마케팅, 광고, 자동차, 교통 등 다양한 비즈니스 분야로 활용되고, 그렇게 활용된 정보는 다시 운전자에게로 전달되죠.

이렇듯 빅데이터 기술은 어느덧 우리의 삶에서 빠트릴 수 없는 필연적인 요소로 자리를 잡았습니다. 하지만 방대한 데이터의 양만큼이나 빅데이터 기술은 어렵고 막연하게만 느껴지죠. 그런데 누구나 약간의 기술만으로 빅데이터 및 AI 기술을 연동하고, 가치를 창출할 수 있다면 어떨까요?


숲과 나무를 동시에 보는
빅데이터 시스템의 모든 것!

이 강의에서는 빅데이터 시스템을 구축하는 데 필요한 실무 요건들을 도출하고, 이를 해결하기 위한 빅데이터의 핵심 기술 요소들을 설명합니다. 뒤이어 가상의 스마트카 파일럿 프로젝트를 통해 실전과 같은 빅데이터 및 AI 시스템을 구축하고 활용하는 방법을 경험하게 됩니다.

누구라도 좋습니다! 데이터를 수집하고, 적재하고, 탐색하고, 분석하는 네 가지 단계를 거쳐 머신러닝/딥러닝으로 이어지는 인사이트와 가치를 창출해보세요. 이번 강의를 통해 이제 막 빅데이터 분야에 뛰어든 IT 전문가들이 빅데이터의 숲과 나무를 동시에 볼 수 있는 통찰력을 기를 수 있기를 바랍니다.


스마트카 파일럿 프로젝트로 
쉽고 빠른 실전 학습.

가상의 스마트카 파일럿 프로젝트로 ‘수집 → 적재 → 탐색 → 분석’ 의 네 단계를 직접 따라해 보면서 실전과 같은 빅데이터 및 AI 시스템을 구축해 봅니다. 20여 종의 오픈소스 + 하둡(Hadoop) 에코시스템을 이용한 프로젝트를 통해 빅데이터와 AI 원리를 한층 더 쉽게 이해하고, 실전에 빠르게 적응할 수 있도록 돕습니다.

15일간의 파일럿 프로젝트로 
개념과 실전을 동시에.

프로젝트 일정은 총 15일 로, 빅데이터에 대한 기본적인 개념을 이해한 뒤 시스템 구축에 필요한 파일럿 프로젝트의 전 단계를 직접 실습을 통해 따라할 수 있도록 구성되어 있습니다. 


누가 배우면 좋을까요?

 

빅데이터 학습을
시작한 학생/취준생

AI, 빅데이터 기술
적용해볼 개발자

데이터 활용/분석
고민하는 기획자

빅데이터 관심있는
누구나 OK

학생, 취업 준비생, 개발자/엔지니어, 분석가, 기획자 등등 빅데이터와 AI 기술, 오픈소스 및 아키텍처링을 통한 프로젝트를 준비하는 분들이라면 간단한 SW 지식만 가지고 프로젝트의 처음부터 끝까지 도전할 수 있도록 구성했습니다.

복잡한 빅데이터 + AI 환경,
나날이 중요해지는
커뮤니케이션 + 협업 역량.

다양한 이해관계자의 역할과 포지션을 직접 경험 함으로써, 실전 현장에서 빠르게 적응하며 좋은 성과로 이어질수 있도록 도움을 드립니다.


학습을 위한 필수 요구 환경.

아래 저사양 or 고사양 수준의 PC 1대가 반드시 필요합니다.

🖥️ 실습 관련 PC 환경을 꼭! 참고해주세요.

  • 실습 시작 전 메모리와 디스크의 여유공간 확보가 반드시 필요합니다.
  • 18GB 분량 실습 자료 및 2대의 가상 서버를 제공합니다.
  • VirtualBox 기반으로 가상머신 서버 환경을 구성해봅니다.
  • 맥 M1, M2 모델은 VirtualBox 미지원으로 실습이 불가능합니다.

지식공유자의 저서가
궁금하다면?

『실무로 배우는 빅데이터 기술』 (위키북스, 개정2판)

『실무로 배우는 빅데이터 기술: 데이터 수집, 적재, 처리, 탐색, 분석, 머신러닝까지
 (위키북스, 책 소개 바로가기)

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
빅데이터/AI 분야의 실전과 같은 프로젝트 경험이 필요한 분들
빅데이터/AI의 숲과 나무를 동시에 보는 통찰력이 필요한 분들
빅데이터/AI의 기술장벽을 넘기 위한 훈련 도구가 필요한 분들
아키텍트로 성장하기 위해 오픈소스 활용 역량이 필요한 분들
📚
선수 지식,
필요할까요?
print("Hello World!") 코드를 이해
간단한 리눅스 명령어를 Copy & Paste

안녕하세요
Big.D 입니다.
Big.D의 썸네일

금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다. 

커리큘럼 총 128 개 ˙ 22시간 48분의 수업
이 강의는 영상, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. Introduction
강좌 소개 미리보기 10:11
[자료]_가상서버 이미지
섹션 1. 빅데이터 이해하기
1.빅데이터 개념 07:54
2.빅데이터 목적 05:51
3.빅데이터 활용 04:43
4.빅데이터 프로젝트 09:51
5.빅데이터 기술의 변화 05:13
6.빅데이터 구현기술 12:15
8.빅데이터에서 R&R 미리보기 04:46
7.빅데이터 보안 08:09
섹션 2. 파일럿 프로젝트 환경 구성
0.시작하기 전에 02:38
1.파일럿 프로젝트 도메인의 이해 12:43
2.파일럿 아키텍처 이해 1 - 소프트웨어 07:16
2.파일럿 아키텍처 이해 2 - 하드웨어 06:33
3.파일럿 PC 환경 구성 - 개발환경 11:22
4.VM 통합 환경 구성 15:12
[참고]_파일럿 PC 환경 구성 - 가상 머신 환경 구성 17:37
[참고]_파일럿 서버 구성 1 - CentOS 설치 14:02
[참고]_파일럿 서버 구성 2 - CentOS 환경 구성 30:10
[참고]_파일럿 서버 구성 3 - 가상서버 복제 19:03
[참고]_빅데이터 클러스터 구성 1 - 클라우데라 매니져 설치 19:03
5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치 18:59
5.빅데이터 클러스터 구성 3 - DataNode 추가 및 환경설정 17:24
5.빅데이터 클러스터 구성 4 - Putty로 서버 환경 접속 02:13
5.빅데이터 클러스터 구성 5 - 하둡과 주키퍼 명령 사용해 보기 19:37
6.스마트카 로그 시뮬레이터 - 설치 및 실행 16:19
7.파일럿 환경 관리 - 시작과 종료 10:41
8.빅데이터 실환경의 이해 12:53
9.마치며 미리보기 03:02
섹션 3. 빅데이터 수집
0.시작하기 전에 02:42
1.빅데이터 수집 개요 미리보기 12:16
2.수집에 활용할 기술 1 - 플럼 08:49
2.수집에 활용할 기술 2 - 카프카 미리보기 09:46
3.수집 파일럿 실행 1단계 - 수집 아키텍처 05:59
4.수집 파일럿 실행 2단계 - 수집 환경 구성 08:02
5.수집 파일럿 실행 3단계 - 플럼 기능 구현 14:32
6.수집 파일럿 실행 4단계 - 카프카 기능 구현 15:45
7.수집 파일럿 실행 5단계 - 수집 기능 테스트 22:27
8.마치며 02:34
섹션 4. 빅데이터 적재 I - 대용량 파일
0.시작하기 전에 02:10
1.빅데이터 적재 개요 미리보기 03:36
2.빅데이터 적재에 활용하는 기술 - 하둡&주키퍼 26:19
3.적재 파일럿 실행 1단계 - 적재 아키텍처 05:26
4.적재 파일럿 실행 2단계 - 적재 환경구성 07:25
5.적재 파일럿 실행 3단계 - 적재 기능 구현 09:11
6.적재 파일럿 실행 4단계 - 적재 기능 테스트 15:09
7.마치며 미리보기 02:38
섹션 5. 빅데이터 적재 II - 실시간 데이터
0.시작하기 전에 01:49
1.빅데이터 실시간 적재 개요 미리보기 03:29
2.실시간 적재에 활용하는 기술 01 - HBase & Redis 15:30
2.실시간 적재에 활용하는 기술 02 - Storm & Esper 13:42
3.실시간 적재 파일럿 실행 1단계 - 아키텍처 미리보기 05:29
4.실시간 적재 파일럿 실행 2단계 01 - 환경구성 04:08
4.실시간 적재 파일럿 실행 2단계 02 - HBase 설치 14:03
4.실시간 적재 파일럿 실행 2단계 03 - Redis 설치 10:59
4.실시간 적재 파일럿 실행 2단계 04 - Storm 설치 19:41
5.실시간 적재 파일럿 실행 3단계 01 - Kafka Spout 구현 06:27
5.실시간 적재 파일럿 실행 3단계 02 - Split Bolt 구현 03:58
5.실시간 적재 파일럿 실행 3단계 03 - HBase Bolt 구현 05:25
5.실시간 적재 파일럿 실행 3단계 04 - Esper Bolt 구현 08:50
5.실시간 적재 파일럿 실행 3단계 05 - Redis Bolt 구현 02:31
5.실시간 적재 파일럿 실행 3단계 06 - Redis 클라이언트 구현 08:17
5.실시간 적재 파일럿 실행 3단계 07 - HBase 테이블 생성 10:10
5.실시간 적재 파일럿 실행 3단계 08 - Storm 토폴로지 배포 10:41
6.실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트 24:06
7.마치며 미리보기 04:26
섹션 6. 빅데이터 탐색
0.시작하기 전에 미리보기 02:41
1.빅데이터 탐색 개요 09:15
2.빅데이터 탐색에 활용되는 기술 01 - 하이브 미리보기 09:38
2.빅데이터 탐색에 활용되는 기술 02 - 스파크 09:35
2.빅데이터 탐색에 활용되는 기술 03 - 우지 10:37
2.빅데이터 탐색에 활용되는 기술 04 - 휴(Hue) 05:46
3.탐색 파일럿 실행 1단계 - 탐색 아키텍처 07:33
4.탐색 파일럿 실행 2단계 - 01.하이브 구성 06:24
4.탐색 파일럿 실행 2단계 - 02.우지 구성 04:43
4.탐색 파일럿 실행 2단계 - 03.휴(Hue) 구성 17:11
4.탐색 파일럿 실행 2단계 - 04.스파크 구성 08:19
5.탐색 파일럿 실행 3단계 - 데이터 탐색&처리 1 07:42
5.탐색 파일럿 실행 3단계 - 데이터 탐색&처리 2 미리보기 24:54 5.탐색 파일럿 실행 3단계 - 데이터 탐색&처리 3 미리보기 10:13
5.탐색 파일럿 실행 3단계 - 데이터 탐색&처리 4 15:16
5.탐색 파일럿 실행 3단계 - 데이터 탐색&처리 5 11:29
6.탐색 파일럿 실행 4단계 - 01.탐색 주제영역 05:53
6.탐색 파일럿 실행 4단계 - 02.데이터 준비 19:12
6.탐색 파일럿 실행 4단계 - 03.주제1-스마트카 상태정보 모니터링 1 19:11
6.탐색 파일럿 실행 4단계 - 03.주제1-스마트카 상태정보 모니터링 2 30:15
6.탐색 파일럿 실행 4단계 - 04.주제2-스마트카 운전자 운행기록 정보 12:40
6.탐색 파일럿 실행 4단계 - 05.주제3-이상 운전 패턴 스마트카 정보 14:04
6.탐색 파일럿 실행 4단계 - 06.주제4-긴급 점검이 필요한 스마트카 정보 08:56
6.탐색 파일럿 실행 4단계 - 07.주제5-운전자의 차량용품 구매이력 정보 10:39
7.마치며 02:44
섹션 7. 빅데이터 분석 I
0.시작하기 전에 미리보기 03:23
1.빅데이터 분석 개요 12:44
2.빅데이터 분석에 활용되는 기술 01 - 임팔라 미리보기 05:56
2.빅데이터 분석에 활용되는 기술 02 - 제플린 08:18
2.빅데이터 분석에 활용되는 기술 03 - 머하웃 02:57
2.빅데이터 분석에 활용되는 기술 04 - 스쿱 08:01
3.분석 파일럿 실행 1단계 - 분석 아키텍처 미리보기 05:28
4.분석 파일럿 실행 2단계 - 01. 임팔라 설치 07:40
4.분석 파일럿 실행 2단계 - 02. 스쿱 설치 03:51
4.분석 파일럿 실행 2단계 - 03. 제플린 설치 16:27
4.분석 파일럿 실행 2단계 - 04. 머하웃 설치 05:19
5.분석 파일럿 실행 3단계 - 01. 임팔라로 실시간 분석 09:46
5.분석 파일럿 실행 3단계 - 02. 임팔라로 운행지역 분석 미리보기 12:14
6.분석 파일럿 실행 4단계 - 01. 제플린으로 실시간 분석 17:35
7.분석 파일럿 실행 5단계 - 01. 스마트카 차량용품 추천 21:20
7.분석 파일럿 실행 5단계 - 02. 스마트카 상태정보 예측 (상) 28:12
7.분석 파일럿 실행 5단계 - 02. 스마트카 상태정보 예측 (하) 27:56
7.분석 파일럿 실행 5단계 - 03. 스마트카 고객정보 군집 (상) 28:51
7.분석 파일럿 실행 5단계 - 03. 스마트카 고객정보 군집 (중) 14:55
7.분석 파일럿 실행 5단계 - 03. 스마트카 고객정보 군집 (하) 21:33
8.분석 파일럿 실행 6단계 - 01. 분석결과 외부 제공 16:51
9.마치며 미리보기 04:22
섹션 8. 빅데이터 분석 II
1.분석환경 확장 개요 미리보기 06:59
2.R을 이용한 회귀분석 - 운전자 연소득 예측 1 07:11
2.R을 이용한 회귀분석 - 운전자 연소득 예측 2 33:03
2.R을 이용한 회귀분석 - 운전자 연소득 예측 3 미리보기 11:29
3.텐서플로를 이용한 신경망 분석 - 스마트카 이상징후 판별 1 17:59
3.텐서플로를 이용한 신경망 분석 - 스마트카 이상징후 판별 2 19:19
3.텐서플로를 이용한 신경망 분석 - 스마트카 이상징후 판별 3 05:01
3.텐서플로를 이용한 신경망 분석 - 스마트카 이상징후 판별 4 16:57
4.파일럿 프로젝트 확장하기 미리보기 02:17
5.빅데이터 + AI 플랫폼 이해 04:26
6.마치며 00:49
섹션 9. 자료실
파일럿 예제 소스
고사양 PC용 - 3VM(Server01/02/03)
강의노트(통합)
파일럿 확장하기(PPT자료)
강의 게시일 : 2021년 03월 18일 (마지막 업데이트일 : 2022년 12월 30일)
수강평 총 89개
수강생분들이 직접 작성하신 수강평입니다.
4.9
89개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
둥굴이 thumbnail
5
빅데이터 실무 프로젝트를 따라할 수 있는 몇 안되는 강의였습니다. 직접 따라하기 많이 버겁지만, 개념적으로 많은 도움을 받았습니다. 남은 수강기간이 얼마 남지 않았는데, 다시 한번 복습 해려고 합니다.
2023-06-20
지식공유자 Big.D
둥굴이님! 파일럿 프로젝트 수행에 수고 많으셨습니다! 빅데이터의 다소 많은 것을 다루다 보니 강의가 좀 무겁습니다. ^^;; 꼭 한번 더 복습하세요~! -빅디 드림
2023-06-21
hyunjungio thumbnail
5
빅데이터 AI 프로젝트를 따라해 볼 수 있어서 좋습니다. 강의 냉도 이해가 잘되고..프로젝트 끝까지 달립니다! 파일럿프로젝트 완료 했어요~
2021-03-29
지식공유자 Big.D
안녕하세요! 빅디입니다! 파일럿 프로젝트의 어려운 과정들을 많이 완수 하셨네요! 끝까지 화이팅 입니다. - 빅디 올림
2021-04-11
남기범 thumbnail
5
빅데이터 환경을 어떻게 구성하고 어떻게 사용하는지 전반적인 흐름에 대해 이해하기 쉽게 알려주시네요. 비록 빅데이터 쪽으로 가지 않으시는 분들도 꼭 들었으면 하는 좋은 강의였습니다. 감사합니다!
2022-01-09
지식공유자 Big.D
안녕하세요! 남기범님! 파일럿 프로젝트 핵심은 전반적인 흐름을 이해 하는건데요.. 이를 끝까지 잘 마무리해 주셔서 감사합니다. - 빅디 드림
2022-01-10
candyclara thumbnail
5
개인적으로 어마어마한 BigData플렛폼을 경험해 보기란 쉽지 않은 일이지만 끝까지 인내하면서 완주하고 그 기쁨은 이루 말할 수 없을 정도입니다..특히 강사님의 낭낭한 음성과 친절함에 감동했습니다^^
2023-06-05
지식공유자 Big.D
Candyclara님!! 강의에 대한 좋은 평가에...쑥스럽 습니다. ^^;;; 그리고 끝까지 문제를 해결 하며...파일럿 프로젝트 완주 하는데 너~무 고생 많으셨고!!! 포기해 주시지 않아서 제가 감사드립니다. -빅디 드림
2023-06-05
leehb thumbnail
5
강의너무 잘들었습니다. 참유용했어요 다시 관련부서에서 일하게되어 다시 공부하고 싶은데 기간이 만료되었어요.ㅠㅠ 혹시 재수강 할인같은건 없을까요? 감사합니다.
2023-01-31
지식공유자 Big.D
leehb님! 좋은 강의로 평가해 주셔서 감사합니다! 강의 기간을 좀 더 연장 했습니다. 관련 업무에 많은 도움이 되었으면 합니다. - 빅디 드림
2023-02-01