dbt、データ分析エンジニアリングの新しい標準
DeepingSauce
データウェアハウス(DW)の繰り返しのパイプライン管理、これからはdbtでその苦痛の束縛から解放されましょう! dbtが提供する効率性の上で、ビジネス中心のデータモデリング、効果的なデータライフサイクル管理など、より高い価値を創出するデータ分析エンジニアへと生まれ変わりましょう。
Basic
Big Data, Business Productivity, Data Engineering
このレッスンでは、Python(Python)を活用して、さまざまに動作するサイトからデータを取得(クロール)するテクニックについて学び、それを応用して実践に直面するさまざまな例に直接適用します。これにより、与えられたコードをコピーして貼り付ける方法の一次元的な業務自動化ではなく、Webが動作する基本原理の理解に基づいた実践問題解決中心の技術について学び、これにより皆さんは今後どのサイトでもデータを収集して処理する能力を持つことができます。また、この過程で発生するさまざまな例外状況をどのようにコードで解決するかについての学習を行い、最終的には日常で発生するさまざまな問題をプログラム的思考で解決して自動化することができます。

1. Webの動作原理から学ぶWebクロールの基礎
2. 実戦例中心のクロール技術
3. 国内外の金融データ収集、インスタグラム好き/フォロー自動化、不動産データ収集/処理
4. 暗記ではなく、サイトの動作原理に基づいて柔軟にクロールコードを作成できる能力
5. 問題を見る様々な視点と、これをプログラミングで解決する観点について理解する
6. クロールデータを前処理して管理しやすい形に変換するノウハウ
Python(Python)で
ウェブクロール&自動化に挑戦!
カリキュラム全体のロードマップ
ロードマップ全川の30%割引(クリック)
個別講座受講割引(最大30%)イベント
イベントショートカット(クリック)
世界的な投資銀行であるゴールドマンサックス。経済、経営、数学、統計など各分野で最高の人材が集まる同社は驚くべきことに、従業員の3分の1以上が変わらないIT人材だそうです。金融会社であるにもかかわらず、従業員のほとんどが自由自在にコーディングできる人材だということです。さらに驚くべきことは、この統計がなんと数年前の結果だということです。大胆に言えば、現在は既存の従業員の多くがコンピュータに置き換えられており、IT人員の割合もさらに増加し、少なくとも半分以上になると思います。
このように時代が変わりつつ、専攻、分野、職種を問わずコーディング能力がますます重要になっています。最近では、ドア/理科に区別なく採用においてもコーディング能力を求める企業がますます多くなる傾向であり、国家的次元でコーディング教育の重要性を強調し、多様な教育政策を積極的に推進しています。
このように、コーディング能力がますます基本的な資質として求められる理由は何でしょうか。世界中でAI、AIを叫びながらディープラーニングを使った高度なアルゴリズムを開発して適用する事例がますます多くなる理由もあるでしょうが、もう一つの側面では、現業で多くの(繰り返し)業務をプログラムに置き換えたり自動化することができるからです。
繰り返しの仕事で私たちの貴重な時間を無駄にするには、人生が短すぎます。そのようなことが繰り返される人生を生きると、より重要で優先されるべき業務に集中することも難しくなります。私たちの日常をじっと振り返ってみると、プログラミングに代わることができることがかなり多いです。たとえば、ウェブサイトから必要なデータを定期的に取得したり、特定の内容を継続的に監視したりするなどの作業があります。このようなことを人よりも高速で正確なコンピュータが代わりにしてくれるとしたらどうでしょうか。
このレッスンでは、これらの仕事に代わるPythonプログラムを作成する方法について学びます。コード数行提供して「このコードを回せばAというサイトでこういったデータを掻き取ることができる」 式の虚しい講義ではなく、Webの動作原理から始まり、クロール関連問題を眺めるさまざまな視点、そしてこれをプログラミングで解決する過程を直接お見せし、皆さんが今後どんなサイトでも様々なクロールをベースに。
私が過去に非IT系列会社から外注要請を受けて作業を進行するようになった時、衝撃を受けたことが1、2回ではありませんでした。石、博士級の高級人員が研究関連や報告書に必要なデータをウェブから収集するために連日夜勤、さらには夜まで漏れていくことが多かったです。そしてほとんどがマウスクリックとctrl+c、ctrl+vでノガダをしてデータをインポートしており、これを一つずつExcelにコピーし、この過程で書式が壊れるなどの追加的な作業まで全て手作業で進行するなど多くの時間を無意味な作業に費やしていました。
私がショックを受けた理由は非常に当然でした。残念なことに、これらの方々もコーディングの重要性を十分に認識していましたが、コーディングをどのように学び、適用すべきかについてはめちゃくちゃで、またすぐ目の前に落ちたことがより急で重要だったので、やむを得ずこのような悪循環を繰り返していました。実際、大多数の職場の方が過去に同様の経験をしたり、現在までもこのような無意味な業務に時間を無駄にしてストレスを受ける方が多いでしょう。本授業では、これらの方々のために、ウェブベース関連の繰り返し業務(crawling、periodic checkingなど)をPython(Python)コードでロジック化して自動化する方法について学びながら、これまで無駄にしていた皆さんの大切な時間を取り戻そうとします。
[株式種目別分峰、一峰、財務諸表データクロール&前処理]
[不動産団地情報/相場データ&団地内ギャップ(Gap)分析]
[ネイバーブログリストクロール]

Pythonコード数行であなたの職場生活、さらに人生が変わる可能性があります
毎日ゆとりのある人生を味わいたくないですか?
「私も私の下に職員さえあれば仕事任せてちょっと休むのに…」
多くの会社員(特に就職したばかりの社会初年生)の方々が、このような考えを少なくとも一度はやってみました。私の仕事に代わって処理してくれる直属の部下。それも一人ではなく複数人。想像だけでも幸せな職場生活になりそうですか?
Python(Python)だけで、あなたも十分に可能です。コンピュータは人が進むよりもはるかに速く、間違いもまったくしないので、多くの方面で非常に効率的です。また、休憩時間も与える必要がなく、睡眠も眠らず、給与もないため(非常に若干の電気代を除く)ますます高まる触れる時給も心配をする必要もありません。私たちがしなければならないのは、私の仕事を正しい方法でうまく処理できるように、プログラミング言語で問題を明確に定義することだけです。
それでは、Python(Python)でどんな仕事に代わることができますか?ほぼすべての反復的な仕事が交換可能です。
[Instagramフォロー&お気に入りの自動化]

[pdfファイルのダウンロード]

[Slackメッセンジャー通知]
これに加えて、ネイバーカフェ/ブログ投稿、オンラインニュース記事、株価情報、財務諸表情報など、特定の時間/日付ごとにデータをインポートしたり、映画前売り開始通知のように定期的な監視が必要な作業まで、多数の作業をすべてプログラムおよび自動化することができます。
私の仕事に代わって働く労働者を自分で作る
忙しい日常から離れて一層の余裕を探してみてはいかがでしょうか?
Q1.本講義を受講するには、既存の他の講義(誰でも学べるPython、Pandas株式クォント投資part1など)受講が必須ですか?このレッスンを聴き、他の講義を聞く方が良いですか?
Q2.目次を見ると、株式データがメインなようですが、株式&金融データのクロール内容に限定された内容ですか?
Q3.受講を終えて、本当に充実した内容を学び、自信を持っています。しかし、どのトピック、データに対してクロールするのか感がよくありません。関連してチップのようなものがありますか?
Q4.以前の授業ではpandas versionが0.25.3でしたが、今回の講義ではpandasを1.x台バージョンを使いました。バージョン間の競合はどうすればよいですか?
Q5.川の真ん中に内容理解が詰まっている部分があります。どうすればいいですか?
=>上記の質問(Q1〜Q5)に対する回答は、「 Section0。
Q6. jupyterファイル内のtable of contents(目次)はどのように表示されますか?
A6。 https://www.inflearn.com/course/生初心者-入門-Python/lecture/73183 参照してください。
📚授業内容と同じくらい気にして、オリエンテーション映像を用意しました。オリエンテーション映像の長さが少し長いが、それだけ見た講座だけでなく、今後制作される講座の方向、趣旨について詳しく取り上げ、皆さんが気になる内容についても詳しく取り上げています。オリエンテーションを通してあなたの学習欲求を刺激しましょう!
📚講師一人で受講生たちの前でワンマンショーする講義はやめて!原理を理解してみんなで一緒に行く授業!今始めましょうか?
学習対象は
誰でしょう?
Webで特定の情報を継続的に監視する必要がある人が多い人
ウェブから欲しいデータを簡単なコードでまとめてみたい方
上記の業務をPython(Python)でうまくロジック化して自動化して撤退したい方
ご飯を食べている間、寝ている間、休暇を過ごしている間、私の代わりに一生懸命働くプログラムを作りたい人
Python Quantへの投資part1のクラスを聞いたことがあり、そのクラスで学んだ内容を自分が望むデータに適用したい人
実践例やプロジェクトを中心にPython(Python)を学びたいのですが、ふさわしいテーマを選べなかった方
講師が投げたコードをそのまま実行するだけで進行する授業ではなく、原理理解を通じて受講生が学習内容を自ら応用できる授業をご希望の方
前提知識、
必要でしょうか?
'文科生も、非専攻者も、誰でも学べるPython'またはPythonの基礎コンテンツ、'ライブラリ'の概念的な理解が必要
パンダスライブラリはoptionalですが、使い方について知っていれば相乗効果!
ロードマップ注:https://www.inflearn.com/roadmaps/474
16,578
受講生
600
受講レビュー
327
回答
4.9
講座評価
5
講座
데이터로 미래를 설계하고 현실의 문제를 해결하는 데이터 엔지니어입니다.
데이터 기반 통찰을 사랑하며, 평생 학습(Life-long Learner)하고 지식을 나누는 기여자(Contributor)가 되고자 합니다
全体
67件 ∙ (16時間 34分)
講座資料(こうぎしりょう):
全体
75件
4.8
75件の受講レビュー
受講レビュー 4
∙
平均評価 3.8
3
Pythonの基礎なしでは受講できません。 講義はとてもスピード感あるように展開。先生がすごく賢いよう。よくわからない...
こんにちは!レビューありがとうございます 授業が追いつくのが大変でしたようですね。私は馬が少し速いのでㅠㅠ おっしゃったように、まず一度にすべて習得しようとしないでください。 その過程でもわかりにくくなったり分からない部分はQ&A掲示板を通じても質問を残していただければ、お手伝いできるようにさせていただきます。 ありがとうございます!
受講レビュー 2
∙
平均評価 5.0
受講レビュー 26
∙
平均評価 5.0
受講レビュー 3
∙
平均評価 5.0
受講レビュー 27
∙
平均評価 5.0
¥7,513
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!