シリコンバレーのエンジニアと一緒に学ぶDBT
altoformula
現代的なデータチームがdbtを活用する方法を学びます。 メンテナンス可能な分析モデルと検証されたデータパイプラインを直接作ってみます。 アナリティクスエンジニアリングの核心概念を実務中心に身につけます。 データキャリアをもう一段階成長させたい方のための講義です 🚀
Basic
SQL, Data Engineering, data-analysis
シリコンバレーのソフトウェアエンジニアからビッグデータの処理方法を学び、Apache Sparkでビッグデータコードを開発する方法をPythonを使って学びます。現在14年間ソフトウェア開発者として、Webアプリケーション、ビッグデータ、SRE & DevOpsまでPythonで処理しています。Pythonを使って、ビッグデータ職種で必ず知っておくべきApache Sparkについて、簡単に深く学べる機会を絶対に逃さないでください!
受講生 801名
難易度 中級以上
受講期間 無制限

学習した受講者のレビュー
5.0
Hyunwoo Park
Sparkを本番で使用するのに最適な講義構成です。 いつも開発環境の構築が複雑で時間がかかり、学び始める前にエネルギーが消費されていましたが、docker-composeで一度に勉強できる環境構築方法も教えてくれて学ぶのに集中できてよかったです。 何年もSparkを使って開発してきましたが、概念を全体的に振り返りながら、私が知らなかった機能をさらに詳しく知ることができてよかったです。初心者や中級者の両方に適したSpark講義だと思います。 ありがとうございます!
5.0
오늘했던거 까먹는사람
deでバックエンド開発者に引っ越しましたが、再びdeをやりたくて復習する過程でいいですね。 spark UIとコードとマッピングして説明することもあればよかったと思いました。 完了後のレビュー spark UIとコードとマッピングして説明することもありましたね ストリーミングの概念がもっと必要で講義を聞いたこともあったのによかったです。 今後スパークの使い方は学んだが、どのようにデータパイプライニングを構築し、どのように構築をすべきかについての講義も出てほしいですね。
5.0
미국달팽이
私もシリコンバレーに住んでいますが、コンセプトからの例とストリーミングに関してはとても役に立ちました。
PySpark(パイスパーク)
Apache Spark(アパッチ スパーク)
ビッグデータ
ビッグデータ マシンラーニング
リアルタイムビッグデータ処理
Apache Cassandra
Apache Kafka
Apache Iceberg
シリコンバレーエンジニアに直接学ぶ
ビッグデータ講義を聞いてみませんか?
ビッグデータ開発をシリコンバレー開発者のノウハウとともに簡単に学ぶことができます。
シリコンバレーを含む世界中の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。と分析するためには、今Sparkの能力は必須です。
Sparkは最初から分散データ処理フレームに基づいて作成されたため、少なくは1台から多くは数百台のサーバーで容量を拡張していき、リアルタイムでビッグデータを処理し、またこれを機械学習モデルにすることができます。 (PB)以上のデータを管理し、100TB以上のメモリを運用しています。
この講義を聞いた後は、Apache Sparkのコアフレームワークを理解し、ビッグデータを簡単に収集して加工することができ、簡単なマシンラーニングモデルを複数のサーバーに利用して作成できるはずです。を知っていれば十分に勉強できますよ。
ビッグデータ分析のためのSparkのRDDとDataframeの活用能力
機械学習フレームワークを構成するさまざまな技術要素の理解
リアルタイムデータを分析するためのSpark Streamingの理解
大量のデータを扱う必要がある
バックエンド開発者
ビッグデータ分野
勉強したい開発者
火花の深い知識を学ぶ
したいデータエンジニア
1. Apache Sparkについて
2. Apache Spark RDDの基本的な特徴と例
3. Apache Spark SQLとDataframe(データフレーム)
4. Apache Spark Engine Deep dive
5. Apache Spark Machine Learning(マシンラーニング)ライブラリ、MLlib
6. Apache Spark Streaming、リアルタイムデータ処理ライブラリ
Q. 非専攻者も聞ける講義ですか?
はい、しかし、Pythonの基本的なスキルとデータを扱った経験があれば、理解しやすいかもしれません。
Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!
Q. 授業内容をどのレベルまで扱いますか?
火花の基礎から、事業に必要な高度な情報まで取り上げます。
Q.なぜスパークを学ぶべきですか?
国内だけでなくシリコンバレーのほとんどの会社にスパークでビッグデータを処理しています。
| |
本講義の実習はDockerで環境設定になっています。
学習対象は
誰でしょう?
Pythonの基本的な文法を知っている人
ビッグデータ直軍に転職したい方
比較的安定したバックエンドエンジニアになりたい方
バックエンドエンジニアに転職したい人
Apache Spark の最新情報と詳細を知りたい方
前提知識、
必要でしょうか?
パイソン
Docker(ダーカー)
20,549
受講生
1,015
受講レビュー
333
回答
4.8
講座評価
29
講座
한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀
안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.
🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.
🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!
🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다
全体
65件 ∙ (7時間 46分)
講座資料(こうぎしりょう):
全体
75件
4.7
75件の受講レビュー
受講レビュー 2
∙
平均評価 5.0
5
重要な内容だけを効率よく学べ、サンプルデータやソースがよく整理されているので、効率的に学習できます!
Ophelie様、こんにちは。 お忙しい中、素敵なレビューをお寄せいただき誠にありがとうございます!
受講レビュー 2
∙
平均評価 5.0
5
良い内容を分かりやすく説明していただき、よく理解できました!
こんにちは、コン・ジュノ様。 お時間を割いて素晴らしいレビューをお寄せいただき、ありがとうございます。
受講レビュー 1
∙
平均評価 5.0
5
良い講義をありがとうございました。実務でSpark関連の業務を行うために受講しましたが、理論的な部分と実習を核心的な内容に絞って扱ってくださり、大変 도움이 되었습니다。
こんにちは、シム・ジュンゴル様。 お時間を割いて良いレビューをお書きいただきありがとうございます。実務でお役に立てたなら嬉しいです!
受講レビュー 2
∙
平均評価 5.0
5
まだ受講中ですが、全体的な概要、講義構成、説明の仕方がよくできていて満足しています。コードの文法を一つ一つ詳しく説明するわけではありませんが、コードを見ながら実行の流れと動作原理を説明してくれるので、ある程度コーディング経験のある方であれば、理解しながら学習するのに適した講義だと思います。
こんにちは、チェ・キュヨン様。 お時間を割いて素晴らしいレビューをお寄せいただき、誠にありがとうございます。
受講レビュー 2
∙
平均評価 5.0
5
現在アメリカでデータエンジニアとしてキャリアチェンジして働き始めて1年ほどになりますが、Sparkの概念についてもう一度レビューし、知らなかった内容も学ぶことができ、大変 도움이 됩니다!!
こんにちは、gogo91rla様。 お時間を割いて良いレビューをお寄せいただきありがとうございます!お役に立てて幸いです!
¥12,203
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!