Thumbnail
데이터 사이언스 데이터 엔지니어링

로그프레소 엔터프라이즈 - 데이터 수집과 파싱 대시보드

(5)
5개의 수강평 ∙  216명의 수강생

33,000원

지식공유자: 로그프레소
총 16개 수업 (3시간 35분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.

로그프레소를 통해 데이터를 수집하고 수집한 데이터를 쿼리가 가능하도록 정규화 하는 방법을 익히기 위한 과정입니다. 이 강의를 통해 수집기를 설정함으로써 데이터를 수집하는 방법, 다양한 형태로 섞여 들어오는 데이터를 파싱하는 방법, 원격 서버에 에이전트를 설치해 수집기를 생성하는 방법에 대해 익힐 수 있게 됩니다.

✍️
이런 걸
배워요!
빅데이터
데이터 수집
정규표현식

데이터 수집과 정규화를 위한 🔓
로그프레소 엔터프라이즈 솔루션.

강의 소개

로그프레소
순수 국내 기술로 개발된
실시간 빅데이터 플랫폼입니다.

이 과정에서는 로그프레소(Logpresso)를 통해 데이터를 수집하고 수집한 데이터를 쿼리가 가능하도록 정규화하는 방법을 익힙니다. 현장에서 발생하는 다양한 로그를 실시간으로 로그프레소로 가지고 들어오는 수집 방법, 데이터를 의도에 맞게 정규화하는 방식을 알고자 하는 엔지니어를 위해 구성된 강의입니다.

실제 로그를 통해 배우는 데이터 수집 및 파싱(Parsing)

로그프레소는 보안 장비 로그의 파서도 제공하고 있지만, 실무에서는 현장에서 커스텀하게 파싱(Parsing)을 해야 하는 경우가 많습니다. 이때 활용할 수 있는 정규표현식 및 쿼리(Query) 기반 파서의 구성 방식에 대해 실제 로그를 파싱하면서 알아가게 됩니다. 자주 사용되는 로그 수집 방식을 익힘으로써 로그프레소의 수집 방식을 이해하고, 다른 수집기의 응용을 통해 필요한 데이터를 수집할 수 있게 됩니다.

수집기 설정 및 데이터 정규화

네트워크, 보안 로그를 수신하는 시스로그 수집기 및 응용 프로그램에서 사용하는 HTTP 수집기의 설정 방법을 통해 데이터를 수신하는 패시브(Passive) 방식의 수집 방법, 파일 기반의 로그 수집, RDBMS의 데이터를 수집하는 수집기의 설정 방법을 익혀 데이터를 직접 가지고 오는 액티브(Active) 방식의 수집 방법을 다루게 됩니다. 또한 수집한 데이터를 정규화하는 파서에 대한 설명과 상황에 맞게 적용할 수 있는 정규표현식, 쿼리 등으로 파서를 생성하는 방식과 만들어진 파서를 엮어 다양한 형태로 섞여 들어오는 데이터를 파싱하는 방법에 대해서도 알 수 있게 됩니다.

에이전트 설치 및 수집기 생성

그리고 원격 서버에 에이전트를 설치하여 수집기를 생성하는 방법도 이 과정에서 다루고 있습니다. 원격 서버에서 데이터를 압축, 암호화하여 수집하는 에이전트를 설정하는 방식은 물론 수집 설정 방식 역시 실습을 통해 익힘으로써 로그프레소의 에이전트 활용 방식에 대한 이해를 높일 수 있도록 강의를 진행합니다.


준비해야 할 것

PC 혹은 노트북

  • 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.

Chrome 기반 브라우저

  • 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
  • IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)

강의에서 다루는 툴

  • 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.

연관 과정

로그프레소 예약 쿼리 기능의 모든 것.

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
빅데이터 수집과 정형화를 쉽게 하고자 하는 분
로그프레소의 수집, 파싱 기능을 익히고자 하는 분
📚
선수 지식,
필요할까요?
로그프레소 쿼리 기초

안녕하세요
로그프레소 입니다.
로그프레소의 썸네일

2013년에 설립된 빅데이터 전문 기업 로그프레소는 보안, 통신, 금융, 반도체, 물류 등 다양한 산업군에 빅데이터/AI 분석 플랫폼을 공급하고 있습니다.

https://logpresso.com

커리큘럼 총 16 개 ˙ 3시간 35분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 로그프레소 수집 개요
로그프레소 서버 설치 및 UI 접속 05:03
로그프레소 수집 개요 및 UI 설명 미리보기 23:59
섹션 1. 패시브 방식의 수집
시스로그 수집기 08:36
HTTP 포스트 방식의 수집기 07:55
섹션 2. 액티브 방식의 수집
파일기반 수집기 1 - 디렉터리 와처 11:02
파일기반 수집기 2 - 로테이션 로그 파일 14:47
JDBC기반 수집기 12:51
섹션 3. 데이터 파싱
로그프레소 데이터 파싱 16:00
정규표현식기반 파서 1 17:28
정규표현식기반 파서 2 10:16
정규표현식기반 파서 3 15:50
쿼리기반파서 20:36
파서 선택기와 파서 체인 09:42
섹션 4. 원격 에이전트(센트리)
센트리 설치와 설정 방법 10:20
센트리 정보 조회 쿼리 20:07
윈도우 이벤트로그 수집기 11:02
강의 게시일 : 2021년 04월 26일 (마지막 업데이트일 : 2021년 04월 26일)
수강평 총 5개
수강생분들이 직접 작성하신 수강평입니다.
5
5개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
jinwoo.lee thumbnail
5
이해하기 쉽게 설명해주셔서 도움이 됐습니다.
2023-06-15
shjoo526 thumbnail
5
잘 들었습니다.
2021-09-20
열공학생 thumbnail
5
정말 설명 친절하시네요. 좋은 강의 잘 시청하였습니다!
2023-04-02
moon thumbnail
5
상세한 설명 감사합니다.
2023-01-18
js.park thumbnail
5
좋은 강의 입니다~
2021-07-27
연관 로드맵
이 강의가 포함된 잘 짜여진 로드맵을 따라 학습해 보세요!