リアルタイムデータ処理、ログプレソで解決! 強力なビッグデータソリューションを体験してください。
講義紹介
ログプレソ は 純粋な国内技術で開発された リアルタイムビッグデータプラットフォームです。
リアルタイムデータ処理方法? データレイクなど、今日の新しいデータ処理トレンドは、ビッグデータに基づいたリアルタイムデータ処理方法が根幹をなしています。しかし、リアルタイムのビッグデータシステムを構築することは非常に困難です。コストがかかるだけでなく、オープンソースやクラウドベースで構成をしようとしても、単一のソリューションではなく、複数のシステムを組み立てる作業を伴わなければならないからです。
ログプレッソは、リアルタイムデータ処理に非常に適して設計されたプラットフォームです。単一の機器にログプレソのみを設置しても、収集、前処理、保存などを含むリアルタイム処理(Real-Time Processing)の全般をすべて行うことができます。
この講義は! このコースでは、ログプレッソの特長であるリアルタイム処理と外部連携を含むデータエンジニアリング を実行する方法について説明します。ログプレッソでリアルタイムで可能なすべてを深く説明することで、比較的少ない時間と労力でリアルタイムのビッグデータ処理プラットフォームを構築するのに役立ちます。
ログなどのデータには瞬間の真実(Truth of Moment)が含まれていなければ、利用率が高くなります。そのためには、リアルタイムデータ参照のためのツールと活用法を知っておく必要があります。今回の講義では、リアルタイムで論理的に関連があるものの先後関係および収集間隔で様々な行為を感知したり、後続作業を進めるためのCEP(Complex Event Processing、リアルタイムイベントコンテキスト)についても深く取り上げる予定です。さらに、収集したビッグデータを加工してファイル、DB、ネットワークなどに送る外部連動を簡単に行う方法をお知らせします。
講義を通じて、全体的なリアルタイム処理機能をデータエンジニアリングの観点から眺めることができる視点 を育ててください。
準備すべきこと PCまたはラップトップ Windows(Windows)ベースのPCまたはラップトップが必要です。 Chromeベースのブラウザ ログプレソはWebコンソールを介してすべてのクエリを実行できます。 IE 11以降またはChromeシリーズ(Edge、Whaleなど)、Firefox、SafariなどHTML5をサポートするブラウザでは問題なく利用できます。 (ただし、Chromeシリーズをお勧めします。) SFTPサーバー セクション2 [外部データ連携]セクションでは、リモートファイルアクセス用にローカルにSFTPサーバーを設定して実践を進めます。 これには、アクセス可能なサーバーを利用するか、リンクで提供するフリーウェアを使用します。 データベース セクション2 [外部データ連携]セクションでは、データベースからデータをインポートまたはエクスポートするクエリの実践を進めます。これにはデータベースが必要です。 データを読み書きできるデータベースだけがあれば、講義の進行に問題はありません。 このレッスンでは、すでにインストールされているオープンソースデータベース、マリアDB(MariaDB)を通じて行われます。したがって、別々のインストールプロセスをカバーしません。 講義で扱うツール このレッスンでは、ログプレッソのエンタープライズサーバーバージョンを使用します。 また、ログプレッソで講義用に提供されたデータを使って講義を進めます。ツールとデータは、講義受講申請後、セクション0 [講義準備]で提供される講義を通じてアクセスできます。 データベース連携のために別々のDBをインストールする必要があるかもしれません。 予想される質問 Q&A 💬 Q. クエリとログプレッソのインストールファイルはどこで入手できますか?
レッスンで使用されたクエリは、Inflearnクラスノートにまとめました。インストールファイルは、実習環境設定コースの資料として含まれています。
関連プロセス