강의

멘토링

커뮤니티

NEW
Programming

/

Back-end

Naver面接官が教えるリアルタイム超低遅延Apache Flink

ほとんどの開発者は、データ処理について語る際、依然としてBatchとCronJobに留まっています。しかし、実際のサービス環境では、データは絶え間なく生成され、その流れを即座に処理できなければ、遅延・ボトルネック・整合性の問題につながります。私自身も大規模トラフィック環境で、リアルタイムレコメンデーション、状態同期、イベント遅延の問題を直接経験し、「これをバッチで処理するのが正しいのか?」という悩みを数え切れないほど抱えてきました。この講義は、まさにその疑問から出発します。Apache Flinkを活用して、データが流れる瞬間に演算し、状態を安全に管理し、Event Timeベースで正確な結果を生み出す方法を、実務の観点から解き明かします。単純な理論説明ではなく、実際のソースコードと構造を通じて、リアルタイムストリーム処理システムがどのように設計され運用されるのかを体験できます。リアルタイム処理が漠然と感じられていた方、メッセージング以降の世界が気になっていた方に、この講義は明確な方向性を示すでしょう。

難易度 初級

受講期間 無制限

  • Hong
실습 중심
실습 중심
백엔드이해하기
백엔드이해하기
실시간
실시간
토이프로젝트
토이프로젝트
백엔드
백엔드
Java
Java
Docker
Docker
docker-compose
docker-compose
flink
flink
실습 중심
실습 중심
백엔드이해하기
백엔드이해하기
실시간
실시간
토이프로젝트
토이프로젝트
백엔드
백엔드
Java
Java
Docker
Docker
docker-compose
docker-compose
flink
flink

学習した受講者のレビュー

受講後に得られること

  • バッチではなくリアルタイムストリームベースでデータを処理する設計

  • Event Time・Watermarkを活用して遅延データまで正確に処理

  • Stateful Processingを通じて「状態を持つ」リアルタイムアプリケーションの実装

  • Apache Flinkで実務にすぐ適用可能なストリーム処理パイプライン

  • リアルタイム推薦・課金・集計システムを設計できるアーキテクチャ

リアルタイムStateful通信のためのOpenSource Platform ネイバー開発者が教えてくれる。

  • 以下の内容は実際の会話内容です。

😄Naver 開発者 : 私、もう一つ扱いたくなったんですが...もしかしてHongさんお忙しいですか?? wwwwww

😄 Hong : 連休に何で私を探すんですか... ㅋㅋㅋㅋ 何がそんなにひらめいたんですか??

😄Naver 開発者 : NATSを一度扱ってみたら、リアルタイム通信をもっと扱いたくなって.. もしかしてApache Flinkを一度扱ってみようかと思うんですけど、どうですか??

😁 Kakao 開発者(面接官) : 言ったでしょ(笑) 開発しかしないんだから

😄 Hong : 何でも新しいものを扱うのは大賛成ですが、私それ使ったことないです ㅠㅠ

😄 Naver 開発者 : 大丈夫ですよ ㅋㅋㅋ 私が全部資料作りますから。ちょっと一緒にやってください... ㅠ Apache Flink 本当に良いのに、みんなあまり知らないんですよね... キャリアの面でもリアルタイムデータ収集って本当に重要なのに、なぜ扱わないのかよく分からないです。

😄Naver開発者リアルタイムレコメンドやリアルタイム料金計算とか気になりませんか...?ㅋㅋㅋㅋㅋㅋㅋ

😄 Hong : ㅋㅋㅋㅋ 私はいつでも大丈夫です。一度一緒に準備してみましょう。私の年次休暇を上納して作ります。

ネイバーの開発者はリアルタイム超低遅延通信のためにどんなことをするのでしょうか?? ⚡

現代のデータ構造は、すべてがリアルタイムで接続されています。Netflixのレコメンデーションシステムを超えて、リアルタイムで同期されるチケットの状態、またはリアルタイムで同期されるUberの価格ポリシー、このようなプロセスについて、皆さんはどのように実装できるでしょうか??その度に悩むことになるんですよね。バッチで処理すべきか??そうするとボトルネックやリアルタイム性が落ちるけど、どうしよう??ストリーム処理は聞いたことあるけど、これはまたどうやって適用しよう??どんなプラットフォームを導入すべきか??それに伴うトレードオフはまた何だろう??Windowという概念はまた何??

その答えはまさにこの講座にあります。リアルタイム超低遅延のビジネス要件を満たすために導入できるApache Flink!!多様なSource接続を通じてリアルタイムでデータを処理する方法、Window観点でのEvent Timeの哲学、State管理を通じた過去の状態管理など、この講座を通じて皆さんのリアルタイム処理モジュールまたは超低遅延処理モジュールのための安全性と最適化技法をしっかり学び、実務に適用してみてください。

単なる理論だけを扱う講義ではありません。実際の様々なソースコードと例示コードを通じて、Apache Flinkというプラットフォームを直接使用し実装する方法を学習する時間を持っていただきたいと思います。🚀

Apache Flinkを選ぶ理由

Apache Flinkは、単にメッセージを伝達するレベルを超えて、リアルタイムデータフロー自体を処理し解釈するストリーム処理エンジンです。既存のメッセージングシステムがデータ伝達に焦点を当てていたのに対し、Flinkはデータが流れる過程で集約、変換、状態管理(Stateful Processing)までを一つのパイプライン内で実行できるように設計されています。特にEvent Time基盤の処理モデルを中心に、遅延したり順序が保証されないデータ環境でも正確な結果を保証できる点がFlinkの核心的な強みです。これにより、リアルタイムレコメンデーション、リアルタイム課金、異常検知のように時間精度がビジネス品質に直結するシステムを安定的に実装することができます。

また、Flinkはバッチ処理とストリーム処理を分離せず、一つの統合された実行モデルとして提供することで、既存のバッチシステムの限界を克服し、常に動作するリアルタイムアプリケーションを自然に構成できるよう支援します。チェックポイントと状態スナップショットに基づく障害復旧メカニズムも、分散環境において高い信頼性を提供します。このような特徴により、Apache Flinkは単純な技術選択を超えて、リアルタイムデータ中心アーキテクチャを設計するための中核プラットフォームとして位置づけられており、大規模トラフィックと複雑なビジネスロジックを同時に満たさなければならない現代のサービス環境において、ますます重要な役割を果たしています。


Apache Flinkの公式ドキュメントでは、自分たちをこのように紹介しています。

Stateful Computations over Data Streams

Apache Flinkは、無限(unbounded)および有限(bounded)データストリームに対するステートフル計算のためのフレームワークであり、分散処理エンジンです。Flinkは、すべての一般的なクラスター環境で動作し、インメモリ速度であらゆる規模の計算を実行するように設計されています。

Apache Flinkは無限(unbounded)および有限(bounded)データストリームを対象としたステートフルな演算を実行するためのフレームワークであり、分散処理エンジンです。Flinkはすべての主要なクラスター環境で実行できるように設計されており、インメモリレベルの速度で大規模なデータ処理まで拡張可能に作られています。

現代的なアーキテクチャでは、サービス全般で絶え間なくデータが生成され、リアルタイムで処理されなければならない構造を持つようになります。このような環境でバッチ処理の限界を超え、ストリームベースでデータを即座に処理し状態を管理できるApache Flinkを学習することは、選択ではなく必須に近い技術となりました。超低遅延処理、正確な時間ベース(Event Time)演算、そして安定的な状態管理まで提供するFlinkは、高性能リアルタイムデータアーキテクチャを構成するための核心プラットフォームと言えます。

この時間を通じてぜひApache Flinkの活用法を学び、他とは差別化された技術スタックを持つ開発者として成長されることをお勧めします。🚀

この講義の特徴

📌 実際にネイバーの開発者が実務で使用する分散ストリーム処理エンジン

  • ネイバーで開発者として勤務されている現役開発者が参加して構成された講義です。単にリアルタイム処理とは何かを扱うのではなく、Apache Flinkというリアルタイムデータフロー自体を処理し解釈するストリーム処理エンジンを一緒に作成しながら学習することができます。これを通じて実務中心で幅広く学べる内容として準備いたしました。

📌 講義要約及びソースコード、そしてApache Flinkの多様な状態概念

  • すべての講義では実際のダイアグラムを提供したり、実習過程について幅広くお見せします。単に書き写すのではなく、実際に動作する過程と適用できるパターンをお教えします。


📌 ジュニアが知っていればできるジュニア、シニアが知っていれば有能なシニア、そのための分散メッセージングプロトコルサービス

  • 大容量データを処理するBatchと周期的実行のためのCronJobだけをご存知ですか??現代的なシステムでは、このような周期的処理ではなく、リアルタイム処理を通じて多様なデータ状態を管理しています。そのために代表的に導入可能なApache Flink..!!インフラーンで唯一無二(ゆいいつむに)な内容です。

こんな方におすすめです 👨‍🏫

🎯 データ処理はBatch & CronJobしか知らない初・中級開発者 who only know Batch & CronJob for data processing

  • データを処理する方式は非常に多様です。Batchのような大容量処理、CronJobのような周期的処理が存在しますが、現代的なアーキテクチャで必須として扱われるリアルタイム処理..!一度学んでみることを強くお勧めします。

🎯 リアルタイムストリーム処理は全く知らないが学びたい開発者

  • この講座が最も適しています。サーバー開発者として現代的なデータ処理方式を学習するためには、この講座を通じてなぜリアルタイム処理が重要なのかをしっかりと学んでいきましょう。

🎯 Apache Flinkというプラットフォームのエコシステムが気になるシニア開発者

  • ある程度開発をされている方でもApache Flinkは初めて聞く方が多いです。それだけ他の人が知らない新技術を習得できるのでおすすめです。


🎯 リアルタイム推薦システム(Netflix)、リアルタイム料金計算(Uber)プラットフォームの内部が気になるバックエンド就活生・ジュニア開発者

  • このようなサービスはすべてリアルタイムストリーム処理をサポートしています。このプロセスがどのように行われるのか、ぜひこの講義を通じて皆さんの見識をさらに広げる時間として活用してみてください。


この講義を準備されたネイバー開発者の方の経歴🤭


10年目のバックエンドサーバー開発者としてNAVERで勤務しているAnde(略称)と申します。

私が知っている様々な技術とスタックを他の方々と共有し、議論したくてこのように講義を作ることになりました。私のノウハウを他の方々が習得され、私と同じ失敗をしないでほしいです。

知人の推薦(カカオ面接官)でこのように一緒に参加することになり、Hongの主導の下、共に撮影することになりました。できるだけ多くの内容を盛り込めるよう努力しましたので、たくさんのご関心をお願いいたします。また、質問もお気軽にお願いいたします。私ができる限り確認して回答させていただきます。ありがとうございます。

[現] NAVER サーバー(本社) 開発者

[前] 新世界グループ所属バックエンド開発者

[前] ヘルスケアスタートアップのサーバー開発者

[前] ソウル4年制大学コンピュータ工学専攻

参考事項

実習環境

  • IDE

    • Visual Studio Code

  • OS

    • Apple M3 Air

Java、Apache Flink、Docker、docker-composeの技術を使用します。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • BatchとCronJobの限界の前で毎回設計が行き詰まるバックエンド開発者

  • Kafkaは使っているが「次のステップ」が分からず歯がゆい開発者

  • リアルタイム推薦・課金・集計システムの構造が感覚的にしか理解できていない開発者

  • Event Time・Stateの概念が常に難しく感じられるストリーム入門者

  • リアルタイムデータ処理でキャリアの差別化を図りたい中堅・シニア開発者

こんにちは
です。

5,435

受講生

368

受講レビュー

124

回答

4.7

講座評価

21

講座

자기 소개

집에서 빈둥대다 개발에 흥미를 느껴 개발 공부를 시작하였고 현재는 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다. 제가 공부를 했던 방법과 실무에서 접하실 수 있는 여러가지 문제점들과 해결책을 여러분들에게 제공하고 싶어 지식공유자 활동을 이어나가고 있습니다.

 

강의는 오로지 저만의 지식을 통해 만들어지지 않습니다. 모든 강의는 함께하시는 분들이 계십니다.

 

지식공유자 경력

[前] 샌드박스IP 관련 블록체인 개발자

[前] 메타버스 백엔드 개발자

[] 판교에서 고여가는 서버 개발자

 

인터뷰 이력

기타 문의

  • unduck2022@gmail.com

カリキュラム

全体

27件 ∙ (6時間 45分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

5件

5.0

5件の受講レビュー

  • and3839455877님의 프로필 이미지
    and3839455877

    受講レビュー 2

    平均評価 5.0

    修正済み

    5

    96% 受講後に作成

    もう二回目の講義をオープンすることになりました!!個人的に知識共有への欲が強くて、私が知っている部分をどんどん解説してあげたかったんです。 今回扱おうとしている内容はApache Flinkに関する内容で、皆さんが必ず知っておくと良いテーマだと選定しました。 正直に言いますね!!皆さん、リアルタイム通信について知識がなければ、この内容を理解するのは難しいかもしれません。(もちろん私が全部教えますし、正直講義がとても良く構成されていると思います。笑) でも必ず学ばなければなりません。難しいけど必ず学ぶべきだと、私が断言してお伝えしたいです。 リアルタイム通信というのは、最近の時代にはとても重要になってきているようです。より多くのトラフィックを誘発し、より多くのデータを収集するために、より多くのコンテンツを提供しなければならないと思います。 実際にこういった部分が数多くの大企業やユニコーンスタートアップに反映されていますよね。皆さんがご存知のNetflixの推薦システム、Uberのリアルタイム料金計算、そしてまあMUSINSAのような推薦システム ほとんど皆さんが使用されているプラットフォームやサービスでは、このリアルタイム通信が抜けている場合を見たことがありません。 ですから、どうかこの動画を通して多くの方々が学習されたら嬉しいです。本当に必ず学ばなければなりません。皆さんのキャリアのためにも、お願いしますね笑笑笑

    • jhong
      知識共有者

      wwww こんなに熱心な方は初めて見ました。私もリアルタイム通信というキャリアが開発者の観点から本当に大きな助けになると思います。この方がおっしゃってくださったことに本当に共感しますし、多くの方々が私たちが共感する部分を認識して参考にしてくださったらとても嬉しいです。 良い講義を一緒に作れていつも光栄です~~! これからもよろしくお願いします!!

  • gjsu540607534님의 프로필 이미지
    gjsu540607534

    受講レビュー 4

    平均評価 5.0

    5

    78% 受講後に作成

    講義とても良かったです。構成がとても良いですね。リアルタイム通信が何なのか、この講義一つでしっかり理解できたと思います。 単純にFlinkというプラットフォームだけを扱うのではなく、そのシニア開発者の方の視点も垣間見ることができる内容だったと思います。

    • jhong
      知識共有者

      こんにちは、02年生の開発者様!!良いレビューを残していただきありがとうございます!!おっしゃっていただいた部分のように、単純に使用する方式ではなく、もう少し広い視野で見ることができる観点を提供したいと思っていました。 今後もより有益な講義を提供いたします。レビューありがとうございます。良い一日をお過ごしください!!

  • warna97725274님의 프로필 이미지
    warna97725274

    受講レビュー 3

    平均評価 5.0

    5

    85% 受講後に作成

    共有者様の講義を見ながら、私は最近ネイバークラウドに転職しました!!本当にありがとうございます。 私がインフラーンで最も好きな知識共有者様で、有名ではありませんが、短い時間で本当に多くの概念を教えてくださり、時間を効率的に使おうと努力される姿が講義ごとに見えて、とても良い講義だと思います。 今回も新しくオープンされるとすぐに受講しましたが...やはり本当に内容がとても有益だと思います。本当にたくさん学べる内容でした。

    • jhong
      知識共有者

      こんにちは warnaさん、ネイバークラウドだなんて!!!本当に素晴らしいところに行かれましたね ㅎㅎ 羨ましいです!!機会があれば私も...?ㅋㅋㅋㅋ 冗談ですが、今後もっと有益で面白い内容を扱いながら、皆さんに寄り添う講師になります。 良い一日をお過ごしください、そしてこれからもっと良いことだけがありますように!!

  • miaaade9585868님의 프로필 이미지
    miaaade9585868

    受講レビュー 6

    平均評価 5.0

    5

    89% 受講後に作成

    Inflearnで見た講義の中で指折りの講義だと思います..!! 理論的な部分も全く不足しておらず、サンプルコードとそれに伴う実習まで全般的に多くの部分を学べると思います。 Sourceという概念を教えてくださる時、あえて外部ストレージやMSQを使用せずに実装したのがより印象深いと思います。その部分まで扱っていたら講義の目標から一部外れる内容だったと思います。 本当に講義よく見ました。とても多くのことを学んでいく内容ですね。

    • jhong
      知識共有者

      こんにちは、エイミーさん!!このようにレビューを残していただきありがとうございます。指折りの講義だなんて ㅠㅠ とても励みになるレビューです。 次の講義もより有益で、エイミーさんのお役に立てる内容で準備してみます。良い一日をお過ごしください!

  • bosterbucheon2980님의 프로필 이미지
    bosterbucheon2980

    受講レビュー 1

    平均評価 5.0

    5

    89% 受講後に作成

    最初は、こんなことまで知る必要があるのか??自分のキャリアにこれを勉強するのが正しいのか??と思ったんですが。わあ、本当にこれすごく有益です。単純な講義ではなく、Flinkというサービスについても学べますが、その先をもっと見ることができる講義だと思います。 講義とても良かったです。

    期間限定セール

    ¥31,900

    70%

    ¥13,777

    Hongの他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!