Thumbnail
데이터 사이언스 데이터 엔지니어링

로그프레소 엔터프라이즈 - 실시간 처리 및 외부 연동 대시보드

(5)
4개의 수강평 ∙  182명의 수강생

33,000원

지식공유자: 로그프레소
총 21개 수업 (5시간 57분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

중급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.

이 과정은 로그프레소의 특장점인 실시간 처리와 외부 연동을 포함한 데이터 엔지니어링을 수행하는 방법에 대해 설명하고 있습니다. 또한 실시간에서 참조데이터를 부여하는 방법과 논리적으로 연관이 있는 건들의 선후 관계, 수집 간격으로 여러가지 행위를 감지하거나 후속 작업을 진행을 위해 CEP(Complex Event Processing)에 대해서도 깊이있게 다루고 있습니다.

✍️
이런 걸
배워요!
실시간 빅데이터 처리
CEP(Complex Event Processing 이벤트 컨텍스트)
로그프레소 실시간 기능 전반

실시간 데이터 처리, 로그프레소로 해결!
강력한 빅데이터 솔루션을 경험하세요.

강의 소개

로그프레소
순수 국내 기술로 개발된
실시간 빅데이터 플랫폼입니다.

실시간 데이터 처리 방법?

데이터 레이크(Data Lake) 등, 오늘날 새로운 데이터 처리 트렌드는 빅데이터를 바탕으로 한 실시간 데이터 처리 방법이 근간을 이루고 있습니다. 그러나 실시간 빅데이터 시스템을 구축하는 것은 매우 어렵습니다. 비용이 많이 들 뿐만 아니라, 오픈소스나 클라우드 기반으로 구성을 하려고 해도 단일 솔루션이 아니라 여러 시스템을 짜맞추는 작업을 수반해야 하기 때문입니다.

로그프레소는 실시간 데이터 처리에 매우 적합하게 설계된 플랫폼입니다. 단일 장비에 로그프레소만 설치해도 수집, 전처리, 저장 등을 포함한 실시간 처리(Real-Time Processing)의 전반을 모두 할 수 있습니다.

이 강의는!

이 과정에서는 로그프레소(Logpresso)의 특장점인 실시간 처리와 외부 연동을 포함한 데이터 엔지니어링을 수행하는 방법에 대해 설명합니다. 로그프레소에서 실시간으로 가능한 모든 것을 심도있게 설명함으로써, 상대적으로 적은 시간과 노력을 들여 실시간 빅데이터 처리 플랫폼을 구축하는 데 도움을 주는 것을 목적으로 합니다.

로그와 같은 데이터는 순간의 진실(Truth of Moment)을 담고 있어야 활용도가 높아집니다. 이를 위해 실시간 데이터 참조를 위한 도구 및 활용법을 알고 있어야 합니다. 이번 강의에서는 실시간에서 논리적으로 연관이 있는 건들의 선후 관계 및 수집 간격으로 여러 가지 행위를 감지하거나, 후속 작업을 진행하기 위한 CEP(Complex Event Processing, 실시간 이벤트 컨텍스트)에 대해서도 깊이있게 다룰 예정입니다. 뿐만 아니라, 수집한 빅데이터를 가공을 거쳐 파일, DB, 네트워크 등으로 보내는 외부 연동을 쉽게 수행하는 방법을 알려드립니다. 

강의를 통해 전체적인 실시간 처리 기능을 데이터 엔지니어링의 관점에서 바라볼 수 있는 시각을 길러보세요.


준비해야 할 것

PC 혹은 노트북

  • 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.

Chrome 기반 브라우저

  • 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
  • IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)

SFTP 서버

  • 섹션 2 [외부 데이터 연동] 부분에서 원격 파일 접근을 위해 로컬에 SFTP 서버를 구성해 실습을 진행하게 됩니다.
  • 이를 위해 접근 가능한 서버를 활용하거나, 링크로 제공하는 프리웨어를 사용하게 됩니다.

데이터베이스

  • 섹션 2 [외부 데이터 연동] 부분에서, 데이터베이스로부터 데이터를 가져오거나 내보내는 쿼리 실습을 진행하게 됩니다. 이를 위해 데이터베이스가 필요합니다.
  • 데이터를 읽고 쓸 수 있는 데이터베이스만 있으면 강의 진행에 문제가 없습니다.
  • 본 강의에서는 이미 설치된 오픈소스 데이터베이스, 마리아DB(MariaDB)를 통해 진행합니다. 따라서 별도의 설치 과정을 다루지 않습니다.

강의에서 다루는 툴

  • 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.
  • 또한 로그프레소에서 강의용으로 제공되는 데이터를 사용해 강의를 진행합니다. 툴과 데이터는 강의 수강신청 후, 섹션 0 [강좌 준비] 에서 제공되는 강의를 통해 접근할 수 있습니다.
  • 데이터베이스 연동을 위해 별도의 DB를 설치해야 할 수도 있습니다.

예상 질문 Q&A 💬

Q. 쿼리 및 로그프레소 설치 파일은 어디서 구할 수 있나요?

강의에 사용된 쿼리는 인프런 수업 노트에 모두 올려놓았습니다. 설치 파일은 실습 환경 구성 강좌의 자료로 포함되어 있습니다.


연관 과정

로그프레소 시작하기
로그프레소를 처음 접하는
엔지니어라면?

로그프레소 엔터프라이즈 -
배치 처리

예약 쿼리 기능의 모든 것

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
실시간 데이터를 처리하고자 하는 분
시스템 하나로 심플한 실시간 시스템을 구축하고자 하시는 분
CEP등 고급 실시간 처리 기술을 익히고자 하시는 분
📚
선수 지식,
필요할까요?
로그프레소 기초 쿼리
로그프레소 수집 및 저장 방법에 대한 이해

안녕하세요
로그프레소 입니다.
로그프레소의 썸네일

2013년에 설립된 빅데이터 전문 기업 로그프레소는 보안, 통신, 금융, 반도체, 물류 등 다양한 산업군에 빅데이터/AI 분석 플랫폼을 공급하고 있습니다.

https://logpresso.com

커리큘럼 총 21 개 ˙ 5시간 57분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 강좌준비
섹션 1. 로그프레소 실시간 데이터 처리
로그프레소 실시간 데이터 처리 개요 17:09
실시간 데이터 처리 실습 12:44
스트림 쿼리 활용 27:11
섹션 2. 외부 데이터 연동
로그프레소 프로파일 08:11
로컬파일 연동 1 - 조회 쿼리 27:35
로컬파일 연동 2 - 적재 쿼리 11:02
원격 파일 연동 14:12
데이터베이스 연동 31:19
웹, REST API 연동 22:44
실시간 데이터 파이프라인 구성 미리보기 16:54
섹션 3. 실시간 데이터 참조
룩업 테이블 개요 14:55
룩업 테이블 활용 1 15:12
룩업 테이블 활용 2 09:37
섹션 4. 실시간 이벤트 컨텍스트
CEP - 이벤트 컨텍스트 29:46
CEP 적용 사례 20:08
특정 필드 단위로 순위 매기기 실습 11:18
데이터 중복 제거 실습 09:57
분리된 정보를 한 건의 데이터로 축약 실습 31:39
CEP 이벤트 수집기 활용 12:25
강의 게시일 : 2021년 06월 09일 (마지막 업데이트일 : 2021년 06월 09일)
수강평 총 4개
수강생분들이 직접 작성하신 수강평입니다.
5
4개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
ygpark thumbnail
5
로그프레소짱
2023-02-07
열공학생 thumbnail
5
좋네요 좋은 강이에요
2023-04-28
채호철 thumbnail
5
좋은 강의 감사합니다
2022-05-24
js.park thumbnail
5
좋아요~!
2021-08-09
연관 로드맵
이 강의가 포함된 잘 짜여진 로드맵을 따라 학습해 보세요!