Thumbnail
데이터 사이언스 데이터 수집 · 처리
로그프레소 엔터프라이즈 - 데이터 수집과 파싱
66명이 수강하고 있어요.

33,000원

지식공유자 : 로그프레소
총 16개 수업˙총 3시간 35분
평생 무제한 수강
수료증 발급 강의
입문 초급 대상 중급이상
폴더에 추가 71 공유
초급자를 위해 준비한
[데이터 수집 · 처리] 강의입니다.

로그프레소를 통해 데이터를 수집하고 수집한 데이터를 쿼리가 가능하도록 정규화 하는 방법을 익히기 위한 과정입니다. 이 강의를 통해 수집기를 설정함으로써 데이터를 수집하는 방법, 다양한 형태로 섞여 들어오는 데이터를 파싱하는 방법, 원격 서버에 에이전트를 설치해 수집기를 생성하는 방법에 대해 익힐 수 있게 됩니다.

✍️
이런 걸
배워요!
빅데이터
데이터 수집
정규표현식

데이터 수집과 정규화를 위한 🔓
로그프레소 엔터프라이즈 솔루션.

강의 소개

로그프레소
순수 국내 기술로 개발된
실시간 빅데이터 플랫폼입니다.

이 과정에서는 로그프레소(Logpresso)를 통해 데이터를 수집하고 수집한 데이터를 쿼리가 가능하도록 정규화하는 방법을 익힙니다. 현장에서 발생하는 다양한 로그를 실시간으로 로그프레소로 가지고 들어오는 수집 방법, 데이터를 의도에 맞게 정규화하는 방식을 알고자 하는 엔지니어를 위해 구성된 강의입니다.

실제 로그를 통해 배우는 데이터 수집 및 파싱(Parsing)

로그프레소는 보안 장비 로그의 파서도 제공하고 있지만, 실무에서는 현장에서 커스텀하게 파싱(Parsing)을 해야 하는 경우가 많습니다. 이때 활용할 수 있는 정규표현식 및 쿼리(Query) 기반 파서의 구성 방식에 대해 실제 로그를 파싱하면서 알아가게 됩니다. 자주 사용되는 로그 수집 방식을 익힘으로써 로그프레소의 수집 방식을 이해하고, 다른 수집기의 응용을 통해 필요한 데이터를 수집할 수 있게 됩니다.

수집기 설정 및 데이터 정규화

네트워크, 보안 로그를 수신하는 시스로그 수집기 및 응용 프로그램에서 사용하는 HTTP 수집기의 설정 방법을 통해 데이터를 수신하는 패시브(Passive) 방식의 수집 방법, 파일 기반의 로그 수집, RDBMS의 데이터를 수집하는 수집기의 설정 방법을 익혀 데이터를 직접 가지고 오는 액티브(Active) 방식의 수집 방법을 다루게 됩니다. 또한 수집한 데이터를 정규화하는 파서에 대한 설명과 상황에 맞게 적용할 수 있는 정규표현식, 쿼리 등으로 파서를 생성하는 방식과 만들어진 파서를 엮어 다양한 형태로 섞여 들어오는 데이터를 파싱하는 방법에 대해서도 알 수 있게 됩니다.

에이전트 설치 및 수집기 생성

그리고 원격 서버에 에이전트를 설치하여 수집기를 생성하는 방법도 이 과정에서 다루고 있습니다. 원격 서버에서 데이터를 압축, 암호화하여 수집하는 에이전트를 설정하는 방식은 물론 수집 설정 방식 역시 실습을 통해 익힘으로써 로그프레소의 에이전트 활용 방식에 대한 이해를 높일 수 있도록 강의를 진행합니다.


준비해야 할 것

PC 혹은 노트북

  • 윈도(Windows) 기반의 PC 혹은 노트북이 필요합니다.

Chrome 기반 브라우저

  • 로그프레소는 웹콘솔을 통해 모든 쿼리 수행이 가능합니다.
  • IE 11 이상 또는 Chrome 계열(Edge, Whale 등), Firefox, Safari 등 HTML5를 지원하는 브라우저에서는 문제 없이 사용 가능합니다. (다만 Chrome 계열을 추천합니다.)

강의에서 다루는 툴

  • 본 강의는 로그프레소 엔터프라이즈 서버 버전을 사용합니다.

연관 과정

로그프레소 예약 쿼리 기능의 모든 것.
지식공유자가 알려주는
강의 수강 꿀팁!
🎓
이런 분들께
추천드려요!
빅데이터 수집과 정형화를 쉽게 하고자 하는 분
로그프레소의 수집, 파싱 기능을 익히고자 하는 분
📚
선수 지식,
필요한가요?
로그프레소 쿼리 기초

안녕하세요
로그프레소 입니다.
로그프레소의 썸네일

2013년에 설립된 빅데이터 전문 기업 로그프레소는 보안, 통신, 금융, 반도체, 물류 등 다양한 산업군에 빅데이터/AI 분석 플랫폼을 공급하고 있습니다.

https://logpresso.com

커리큘럼 총 16 개 ˙ 3시간 35분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 로그프레소 수집 개요
로그프레소 서버 설치 및 UI 접속 05:03
로그프레소 수집 개요 및 UI 설명 미리보기 23:59
섹션 1. 패시브 방식의 수집
시스로그 수집기 08:36
HTTP 포스트 방식의 수집기 07:55
섹션 2. 액티브 방식의 수집
파일기반 수집기 1 - 디렉터리 와처 11:02
파일기반 수집기 2 - 로테이션 로그 파일 14:47
JDBC기반 수집기 12:51
섹션 3. 데이터 파싱
로그프레소 데이터 파싱 16:00
정규표현식기반 파서 1 17:28
정규표현식기반 파서 2 10:16
정규표현식기반 파서 3 15:50
쿼리기반파서 20:36
파서 선택기와 파서 체인 09:42
섹션 4. 원격 에이전트(센트리)
센트리 설치와 설정 방법 10:20
센트리 정보 조회 쿼리 20:07
윈도우 이벤트로그 수집기 11:02
강의 게시일 : 2021년 04월 26일 (마지막 업데이트일 : 2021년 04월 26일)
수강평
수강생분들이 직접 작성하신 수강평입니다. 수강평을 작성 시 300잎이 적립됩니다.

33,000원

폴더에 추가 71 공유
지식공유자 : 로그프레소
총 16개 수업˙총 3시간 35분
평생 무제한 수강
수료증 발급 강의
입문 초급 대상 중급이상
연관 로드맵
이 강의가 포함된 잘 짜여진 로드맵을 따라 학습해 보세요!
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의를
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스