강의

멘토링

커뮤니티

NEW
Programming

/

Back-end

NAVERの面接官が使用するリアルタイム超低遅延プラットフォーム Apache Flink

ほとんどの開発者は、データ処理について語る際、依然としてバッチ(Batch)やCronJobにとどまっています。しかし、実際のサービス環境ではデータが絶え間なく生成されており、その流れを即座に処理できなければ、遅延・ボトルネック・整合性の問題へとつながります。私自身も大規模なトラフィック環境で、リアルタイム推薦、状態同期、イベント遅延といった問題に直面し、「これをバッチで処理するのが正解なのだろうか?」と何度も悩みました。この講義は、まさにその問いから始まります。Apache Flinkを活用し、データが流れる瞬間に演算を行い、状態を安全に管理し、Event Timeに基づいて正確な結果を導き出す方法を、実務の観点から紐解いていきます。単なる理論の説明ではなく、実際のソースコードや構造を通じて、リアルタイム・ストリーム処理システムがどのように設計・運用されているかを体験できます。リアルタイム処理が漠然としていた方、メッセージングのその先の領域が気になっていた方にとって、この講義は明確な指針となるはずです。

難易度 初級

受講期間 無制限

  • Hong
Java
Java
Docker
Docker
docker-compose
docker-compose
flink
flink
Java
Java
Docker
Docker
docker-compose
docker-compose
flink
flink

学習した受講者のレビュー

学習した受講者のレビュー

5.0

5.0

Ande

96% 受講後に作成

もう二回目の講義をオープンすることになりました!!個人的に知識共有への欲が強くて、私が知っている部分をどんどん解説してあげたかったんです。 今回扱おうとしている内容はApache Flinkに関する内容で、皆さんが必ず知っておくと良いテーマだと選定しました。 正直に言いますね!!皆さん、リアルタイム通信について知識がなければ、この内容を理解するのは難しいかもしれません。(もちろん私が全部教えますし、正直講義がとても良く構成されていると思います。笑) でも必ず学ばなければなりません。難しいけど必ず学ぶべきだと、私が断言してお伝えしたいです。 リアルタイム通信というのは、最近の時代にはとても重要になってきているようです。より多くのトラフィックを誘発し、より多くのデータを収集するために、より多くのコンテンツを提供しなければならないと思います。 実際にこういった部分が数多くの大企業やユニコーンスタートアップに反映されていますよね。皆さんがご存知のNetflixの推薦システム、Uberのリアルタイム料金計算、そしてまあMUSINSAのような推薦システム ほとんど皆さんが使用されているプラットフォームやサービスでは、このリアルタイム通信が抜けている場合を見たことがありません。 ですから、どうかこの動画を通して多くの方々が学習されたら嬉しいです。本当に必ず学ばなければなりません。皆さんのキャリアのためにも、お願いしますね笑笑笑

5.0

에이미

89% 受講後に作成

Inflearnで見た講義の中で指折りの講義だと思います..!! 理論的な部分も全く不足しておらず、サンプルコードとそれに伴う実習まで全般的に多くの部分を学べると思います。 Sourceという概念を教えてくださる時、あえて外部ストレージやMSQを使用せずに実装したのがより印象深いと思います。その部分まで扱っていたら講義の目標から一部外れる内容だったと思います。 本当に講義よく見ました。とても多くのことを学んでいく内容ですね。

5.0

warna

85% 受講後に作成

共有者様の講義を見ながら、私は最近ネイバークラウドに転職しました!!本当にありがとうございます。 私がインフラーンで最も好きな知識共有者様で、有名ではありませんが、短い時間で本当に多くの概念を教えてくださり、時間を効率的に使おうと努力される姿が講義ごとに見えて、とても良い講義だと思います。 今回も新しくオープンされるとすぐに受講しましたが...やはり本当に内容がとても有益だと思います。本当にたくさん学べる内容でした。

受講後に得られること

  • バッチではなくリアルタイムストリームベースでデータを処理する設計

  • Event Time・Watermarkを活用して遅延データまで正確に処理

  • ステートフルプロセッシングを通じて「状態を持つ」リアルタイムアプリケーションを実現

  • Apache Flinkで実務に即活用できるストリーム処理パイプライン

  • リアルタイムのレコメンデーション・課金・集計システムを設計可能なアーキテクチャ

リアルタイムステートフル通信のためのOpenSource PlatformをNaverの開発者が教える。

  • 以下の内容は実際の会話内容です。

😄 Naver 開発者 : もう一つ扱いたくなったのですが… もしかしてHongさん、お忙しいですか?? wwwwww

😄 Hong : 連休になぜ私を訪ねてくるんですか… wwww 何がそんなに閃いたんですか??

😄 Naver 開発者 : NATSを一度触ってみたら、リアルタイム通信をもっと扱いたくなって… もしかして Apache Flinkを一度触ってみようかと思うんですが、どうですか??

😁 Kakao 開発者(面接官) : 言ったじゃんwww あいつ開発しかしないんだって

😄 Hong : 新しいことを扱うのは大賛成なんですけど、それ使ったことないです ㅠㅠ

😄 Naver 開発者 : 大丈夫ですよwww 私が資料とか全部作りますから。ぜひ一緒にやってください…(泣) Apache Flink、本当に良いのにみんなあまり知らないんですよね…。キャリアの面でもリアルタイムデータ収集というのは本当に重要なんですけど、なぜみんな扱わないのかよく分かりません。

😄 Naver 開発者 : リアルタイム推薦やリアルタイム料金計算、こういうの気になりませんか…? wwwwwww

😄 Hong : wwww 私はいつでも大歓迎です。一度一緒に準備してみましょう.. 私の有給を献上して作ります。

NAVERのエンジニアは、リアルタイム超低遅延通信のためにどのようなことに取り組んでいるのでしょうか?? ⚡

現代のデータ構造は、すべてがリアルタイムに繋がっています。Netflixのレコメンドシステムを超えて、リアルタイムで同期されるチケットのステータスや、リアルタイムで同期されるUberの価格設定など、このようなプロセスを皆さんはどのように実装できるでしょうか?? そのたびに悩むことになります。バッチで処理すべきだろうか??それだとボトルネックが発生したりリアルタイム性が損なわれたりするけれど、どうすればいいだろう??ストリーム処理は聞いたことがあるけれど、これはまたどうやって適用すればいいんだろう??どのプラットフォームを導入すべきだろうか??それに伴うTradeoffは何だろう??Windowという概念は何だろう??

その答えは、まさにこの講座にあります。リアルタイム・超低遅延のビジネス要件を満たすために導入できるApache Flink!! 多様なSource接続を通じたリアルタイムデータ処理の方法、Windowの観点におけるEvent Timeの哲学、State管理による過去の状態管理など、この講座を通じてリアルタイム処理モジュールや超低遅延処理モジュールのための安定性と最適化手法を確実に習得し、実務に活用してください。

単に理論だけを扱う講義ではありません。実際の多様なソースコードやサンプルコードを通じて、Apache Flinkというプラットフォームを直接使用し、実装する方法を学ぶ時間をぜひ持っていただければと思います。🚀

なぜ Apache Flink なのか

Apache Flinkは、単にメッセージを伝達するレベルを超え、リアルタイムのデータフロー自体を処理・解析するストリーム処理エンジンです。従来のメッセージングシステムがデータの伝達に焦点を当てていたのに対し、Flinkはデータが流れる過程で集計、変換、状態管理(Stateful Processing)までを一つのパイプラインの中で実行できるように設計されています。特にEvent Timeベースの処理モデルを中心に、遅延が発生したり順序が保証されないデータ環境でも正確な結果を保証できる点がFlinkの核心的な強みです。これにより、リアルタイムレコメンデーション、リアルタイム課金、異常検知のように、時間の正確さがビジネスの品質に直結するシステムを安定的に構築できます。

また、Flinkはバッチ処理とストリーム処理を分離せず、一つの統合された実行モデルとして提供することで、既存のバッチシステムの限界を克服し、常に動作するリアルタイムアプリケーションを自然に構築できるよう支援します。チェックポインティングと状態スナップショットに基づいた障害復旧メカニズムもまた、分散環境において高い信頼性を提供します。このような特徴により、Apache Flinkは単なる技術の選択肢を超え、リアルタイムデータ中心のアーキテクチャを設計するためのコアプラットフォームとして定着しており、大規模なトラフィックと複雑なビジネスロジックを同時に満たす必要がある現代のサービス環境において、ますます重要な役割を果たしています。


Apache Flinkの公式ドキュメントでは、自らをこのように紹介しています。

データストリーム上のステートフルな計算

Apache Flinkは、アンバウンデッド(無界)およびバウンデッド(有界)データストリームに対してステートフルな計算を行うためのフレームワークおよび分散処理エンジンです。Flinkは、あらゆる一般的なクラスター環境で動作し、インメモリ速度かつ任意のスケールで計算を実行できるように設計されています。

( Apache Flinkは、無限(unbounded)および有限(bounded)データストリームを対象にステートフルな演算を実行するためのフレームワークであり、分散処理エンジンです。Flinkは、あらゆる主要なクラスター環境で実行できるように設計されており、インメモリレベルの速度であらゆる規模のデータ処理まで拡張可能なように作られています。 )

現代的なアーキテクチャでは、サービス全体で絶えずデータが生成され、リアルタイムで処理されるべき構造を持つようになっています。このような環境において、バッチ処理の限界を超え、ストリームベースでデータを即座に処理し、状態を管理できるApache Flinkを学習することは、選択ではなく必須に近い技術となりました。超低遅延処理、正確な時間ベース(Event Time)演算、そして安定した状態管理まで提供するFlinkは、高性能なリアルタイムデータアーキテクチャを構築するための核となるプラットフォームと言えます。

この時間を通じて、ぜひApache Flinkの活用法を学習し、他とは差別化された技術スタックを持つ開発者へと成長されることをお勧めします。 🚀

この講義の特徴

📌 実際のNAVER開発者が実務で使用する分散ストリーム処理エンジン

  • NAVERで開発者として勤務している現職の開発者が参加して構成された講義です。単にリアルタイム処理とは何かを扱うのではなく、Apache Flinkというリアルタイムデータフロー自体を処理・解釈するストリーム処理エンジンを一緒に作成しながら学習することができます。これを通じて、実務中心に幅広く学べる内容で準備しました。

📌 講義要約、ソースコード、およびApache Flinkの様々な状態概念

  • すべての講義では、実際のダイアグラムを提供したり、実習過程を幅広くお見せしたりします。単に書き写すだけではなく、実際に動作する過程や適用できるパターンをお伝えします。


📌 ジュニアが知れば優秀なジュニア.. シニアが知れば有能なシニア。そのための分散メッセージングプロトコルサービス

  • 大容量データを処理するBatchと定期実行のためのCronJobだけをご存知でしょうか??現代的なシステムでは、このような周期的な処理ではなく、リアルタイム処理を通じて多様なデータ状態を管理しています。そのために代表的に導入可能なApache Flink..!! Inflearnで唯一無二の内容です。

こんな方におすすめです 👨‍🏫

🎯 データ処理はBatch & CronJobしか知らない初・中級開発者 mới chỉ biết đến Batch & CronJob trong xử lý dữ liệu who only know Batch & CronJob for data processing

  • データの処理方法は非常に多岐にわたります。Batchのような大容量処理やCronJobのような定期的処理も存在しますが、現代的なアーキテクチャにおいて必須とされるリアルタイム処理…!ぜひ一度学んでみることを強くおすすめします。

🎯 リアルタイムストリーム処理は全くわからないが学びたい開発者 dù chưa biết gì về xử lý luồng thời gian thực real-time stream processing from scratch

  • この講座が最適です。サーバー開発者として現代的なデータ処理方式を学習するために、この講座を通じてなぜリアルタイム処理が重要なのかをしっかりと学んでください。

🎯 Apache Flinkというプラットフォームのエコシステムが気になるシニア開発者

  • ある程度の開発経験がある方でも、Apach Flinkは初めて聞くという方が多いです。それだけ他の人が知らない新しい技術を習得できるため、おすすめします。


🎯 リアルタイムレコメンドシステム(Netflix)、リアルタイム料金計算(Uber)プラットフォームの内部が気になる バックエンド就活生・ジュニア開発者

  • これらのサービスはすべてリアルタイムストリーム処理をサポートしています。そのプロセスがどのようになっているのか、ぜひこの講義を通じて皆さんの見識を広げる時間として活用してみてください。


この講義を準備されたNAVERエンジニアの方の経歴🤭


10年目のバックエンドサーバー開発者としてNAVERで勤務しているAnde(略称)と申します。

私が知っている様々な技術やスタックを他の方々と共有し、議論したいと思い、このように講義を制作することになりました。私のノウハウを皆さんに習得していただき、私と同じようなミスをしないでほしいと願っています。

知人の紹介(カカオの面接官)でこのように合流することになり、Hongさんの主導のもとで一緒に撮影を行うことになりました。できるだけ多くの内容を盛り込めるよう努めましたので、ぜひご注目いただければ幸いです。また、質問も気軽にお寄せください。私ができる限り確認して回答させていただきます。ありがとうございます。

[現] NAVER サーバー(本社) 開発者

[前] 新世界グループ所属 バックエンド開発者

[前] ヘルスケアスタートアップ サーバー開発者

[前] ソウル4年制コンピューター工学専攻

参考事項

実習環境

  • IDE

    • Visual Studio Code

  • OS

    • Apple M3 Air

Java, Apache Flink, Docker, docker-compose 技術を使用しています。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • バッチとCronJobの限界を前に、毎回設計で行き詰まるバックエンドエンジニア

  • Kafkaは使っているが、「その次のステップ」が分からずもどかしい開発者

  • リアルタイム推薦・課金・集計システムの構造が感覚でしか理解できていない開発者

  • Event Time・Stateの概念がいつも難しく感じられるストリーム入門者

  • リアルタイムデータ処理でキャリアの差別化を図りたい中堅・シニアエンジニア

こんにちは
です。

5,970

受講生

391

受講レビュー

127

回答

4.7

講座評価

22

講座

自己紹介

家でゴロゴロしていた時に開発に興味を持ち、独学を始め、現在は板橋(パンギョ)でプラットフォームサーバーの開発を担当しています。私が学んできた方法や、実務で直面しうる様々な問題とその解決策を皆さんに提供したいという思いから、知識共有者としての活動を続けています。

 

講義は私一人の知識だけで作られるものではありません。すべての講義には、共に作り上げてくださる方々がいます。

知識共有者の経歴

[前] サンドボックスIP関連ブロックチェーン開発者

[前] メタバースバックエンド開発者

[] 板橋(パンギョ)でベテランになりつつあるサーバー開発者

NAVERで開発を担当しているAnde知識共有者の経歴 [前] サンドボックスIP関連ブロックチェーン開発者 [前] メタバース・バックエンド開発者 [現] パンギョ(板橋)で経験を積んでいるサーバー開発者

インタビュー履歴

その他のお問い合わせ

  • unduck2022@gmail.com

カリキュラム

全体

27件 ∙ (6時間 45分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

6件

5.0

6件の受講レビュー

  • and3839455877님의 프로필 이미지
    and3839455877

    受講レビュー 2

    平均評価 5.0

    修正済み

    5

    96% 受講後に作成

    もう二回目の講義をオープンすることになりました!!個人的に知識共有への欲が強くて、私が知っている部分をどんどん解説してあげたかったんです。 今回扱おうとしている内容はApache Flinkに関する内容で、皆さんが必ず知っておくと良いテーマだと選定しました。 正直に言いますね!!皆さん、リアルタイム通信について知識がなければ、この内容を理解するのは難しいかもしれません。(もちろん私が全部教えますし、正直講義がとても良く構成されていると思います。笑) でも必ず学ばなければなりません。難しいけど必ず学ぶべきだと、私が断言してお伝えしたいです。 リアルタイム通信というのは、最近の時代にはとても重要になってきているようです。より多くのトラフィックを誘発し、より多くのデータを収集するために、より多くのコンテンツを提供しなければならないと思います。 実際にこういった部分が数多くの大企業やユニコーンスタートアップに反映されていますよね。皆さんがご存知のNetflixの推薦システム、Uberのリアルタイム料金計算、そしてまあMUSINSAのような推薦システム ほとんど皆さんが使用されているプラットフォームやサービスでは、このリアルタイム通信が抜けている場合を見たことがありません。 ですから、どうかこの動画を通して多くの方々が学習されたら嬉しいです。本当に必ず学ばなければなりません。皆さんのキャリアのためにも、お願いしますね笑笑笑

    • jhong
      知識共有者

      wwww こんなに熱心な方は初めて見ました。私もリアルタイム通信というキャリアが開発者の観点から本当に大きな助けになると思います。この方がおっしゃってくださったことに本当に共感しますし、多くの方々が私たちが共感する部分を認識して参考にしてくださったらとても嬉しいです。 良い講義を一緒に作れていつも光栄です~~! これからもよろしくお願いします!!

  • bosterbucheon2980님의 프로필 이미지
    bosterbucheon2980

    受講レビュー 1

    平均評価 5.0

    5

    89% 受講後に作成

    最初は、こんなことまで知る必要があるのか??自分のキャリアにこれを勉強するのが正しいのか??と思ったんですが。わあ、本当にこれすごく有益です。単純な講義ではなく、Flinkというサービスについても学べますが、その先をもっと見ることができる講義だと思います。 講義とても良かったです。

    • jhong
      知識共有者

      ブスタ様、こんにちは!!難しいプラットフォームではありますが…できるだけ分かりやすく解説してお伝えできるよう努めました。励みになるお言葉をいただき、ありがとうございます!!

  • gjsu540607534님의 프로필 이미지
    gjsu540607534

    受講レビュー 4

    平均評価 5.0

    5

    78% 受講後に作成

    講義とても良かったです。構成がとても良いですね。リアルタイム通信が何なのか、この講義一つでしっかり理解できたと思います。 単純にFlinkというプラットフォームだけを扱うのではなく、そのシニア開発者の方の視点も垣間見ることができる内容だったと思います。

    • jhong
      知識共有者

      こんにちは、02年生の開発者様!!良いレビューを残していただきありがとうございます!!おっしゃっていただいた部分のように、単純に使用する方式ではなく、もう少し広い視野で見ることができる観点を提供したいと思っていました。 今後もより有益な講義を提供いたします。レビューありがとうございます。良い一日をお過ごしください!!

  • warna97725274님의 프로필 이미지
    warna97725274

    受講レビュー 3

    平均評価 5.0

    5

    85% 受講後に作成

    共有者様の講義を見ながら、私は最近ネイバークラウドに転職しました!!本当にありがとうございます。 私がインフラーンで最も好きな知識共有者様で、有名ではありませんが、短い時間で本当に多くの概念を教えてくださり、時間を効率的に使おうと努力される姿が講義ごとに見えて、とても良い講義だと思います。 今回も新しくオープンされるとすぐに受講しましたが...やはり本当に内容がとても有益だと思います。本当にたくさん学べる内容でした。

    • jhong
      知識共有者

      こんにちは warnaさん、ネイバークラウドだなんて!!!本当に素晴らしいところに行かれましたね ㅎㅎ 羨ましいです!!機会があれば私も...?ㅋㅋㅋㅋ 冗談ですが、今後もっと有益で面白い内容を扱いながら、皆さんに寄り添う講師になります。 良い一日をお過ごしください、そしてこれからもっと良いことだけがありますように!!

  • miaaade9585868님의 프로필 이미지
    miaaade9585868

    受講レビュー 6

    平均評価 5.0

    5

    89% 受講後に作成

    Inflearnで見た講義の中で指折りの講義だと思います..!! 理論的な部分も全く不足しておらず、サンプルコードとそれに伴う実習まで全般的に多くの部分を学べると思います。 Sourceという概念を教えてくださる時、あえて外部ストレージやMSQを使用せずに実装したのがより印象深いと思います。その部分まで扱っていたら講義の目標から一部外れる内容だったと思います。 本当に講義よく見ました。とても多くのことを学んでいく内容ですね。

    • jhong
      知識共有者

      こんにちは、エイミーさん!!このようにレビューを残していただきありがとうございます。指折りの講義だなんて ㅠㅠ とても励みになるレビューです。 次の講義もより有益で、エイミーさんのお役に立てる内容で準備してみます。良い一日をお過ごしください!

¥8,543

Hongの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!