로그프레소 엔터프라이즈 - 배치 처리
로그프레소에서 자동으로 스케줄링 수행을 하는 예약 쿼리 기능의 사용 방법에 대해 다룹니다. 주로 스케줄링으로 수행되는 집계 쿼리 패턴 등 데이터 가공을 위한 각각의 쿼리 패턴을 학습하고 문제를 해결하는 방법을 알아봅니다.
중급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.
이런 걸
배워요!
빅데이터
로그프레소
데이터 수집과 정규화를 위한 🔓
로그프레소 엔터프라이즈 솔루션.
강의 소개
로그프레소는
하나의 엔진에서 실시간 및 배치 처리가 가능한
올인원 빅데이터 솔루션입니다.
이 과정에서는 로그프레소(Logpresso)에서 자동으로 스케줄링 수행을 하는 예약쿼리 기능의 사용 방법을 다룹니다. 로그프레소 배치(Batch) 처리 과정은 크게 1)예약쿼리 기능과 2)예약쿼리에서 사용할 만한 다양한 집계성 쿼리를 실습하는 두 부분으로 구분됩니다.
예약쿼리 기능이란
예약쿼리는 설정한 주기에 따라 설정된 쿼리를 수행하는 기능입니다. 본 강의에서는 경보 등의 선택 가능한 옵션과 기능들에 대한 설명을 다룹니다. 예약쿼리에서 구사하는 쿼리는 주로 통계성, 집계성 쿼리가 많기 때문에 이에 대한 몇 가지 쿼리 혹은 쿼리 패턴을 다루게 됩니다.
다양한 쿼리 패턴 및 사용법
뿐만 아니라, 스케줄링으로 수행되는 쿼리는 주로 집계성 쿼리들이기 때문에 집계 쿼리의 패턴도 수업 과정에 포함됩니다. 집계 및 통계시 원본 데이터를 복잡한 형태로 가공하는 방법에 대한 쿼리 패턴을 다루는 데 집중합니다. 집계 쿼리에서는 특정 방식으로 데이터 가공이 필요한 경우도 있으며 이를 로그프레소 쿼리로 해결하는 방법도 다루고 있습니다.
이렇듯 각각의 쿼리 패턴을 학습하는 과정에서 다양한 로그프레소 쿼리 사용법을 익힐 수 있도록 강의를 구성하였습니다.
준비해야 할 것
PC 혹은 노트북
- 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.
Chrome 기반 브라우저
- 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
- IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)
강의에서 다루는 툴
- 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.
- 강의에서 사용하는 데이터는 웹을 통해 획득하게 됩니다.
- 웹에서 데이터를 접근하여 우리가 필요한 형태로 가공하는 방법도 교육 내용에 포함됩니다.
예상 질문 Q&A
Q. 쿼리와 로그프레소 설치파일은 어디에서 구할 수 있나요?
강의에 사용된 쿼리는 인프런 강의노트에 모두 올려 놓았습니다. 설치파일은 로그프레소 설치 및 샘플 데이터 설명 강의의 자료로 포함되어 있습니다.
Q. 강의를 듣기 위해서는 어떤 것들이 필요한가요?
이 강의는 예약쿼리 기능을 포함한 배치 처리를 다루고 있지만, 무엇보다 다양한 집계성 쿼리 유형을 익히는 데 초점을 맞춘 과정입니다. 때문에 적어도 '로그프레소 시작하기' 과정은 반드시 숙지하고 강의를 들으시는 것을 권장합니다.
연관 과정
이런 분들께
추천드려요!
학습 대상은
누구일까요?
빅데이터 서머리가 필요하신 분
로그프레소 쿼리에 깊이를 더하고자 하시는 분
선수 지식,
필요할까요?
로그프레소 기초 쿼리
안녕하세요
로그프레소입니다.
2013년에 설립된 빅데이터 전문 기업 로그프레소는 보안, 통신, 금융, 반도체, 물류 등 다양한 산업군에 빅데이터/AI 분석 플랫폼을 공급하고 있습니다.
커리큘럼
전체
15개 ∙ 4시간 34분
수업 자료
가 제공되는 강의입니다.
강좌 소개
07:34
실습 데이터 가져오기
12:43
rollup과 cube
22:11
데이터 조인 1
21:31
데이터 조인 2
17:16
Top-n 질의와 복합 서머리
25:46
전년 동월 비교 서머리
26:59
전월 동일 비교 서머리 1
15:33
전월 동일 비교 서머리 2
19:07
마지막 업데이트일: 2021년 04월 15일