강의

멘토링

커뮤니티

Data Science

/

Data Analysis

Python無料講義(活用編3) - Webスクレイピング(5時間)

HTML基礎から固守たちのスクレイピング秘法まで、すべてお知らせします。 この映像一つで十分です。

難易度 初級

受講期間 無制限

  • nadocoding
Web Crawling
Web Crawling
Web Scraping
Web Scraping
Selenium
Selenium
Python
Python
Web Crawling
Web Crawling
Web Scraping
Web Scraping
Selenium
Selenium
Python
Python
Thumbnail

学習した受講者のレビュー

学習した受講者のレビュー

5.0

5.0

iambyunghyun

100% 受講後に作成

本物の才能寄付レベル

5.0

한지인

31% 受講後に作成

Python初心者でも簡単に理解できるよう、ゆっくりと丁寧に教えてくださるので、講義を聞くのに負担がありません。ありがとうございます!

5.0

sangcheol25

31% 受講後に作成

分かりやすく説明してください

受講後に得られること

  • クパン、Googleムービー、ネイバーなど各種サイトスクレイピング戦略

  • 動的にロードされるページも

  • Seleniumを活用したWeb自動化の基礎知識まで

面白くて便利なウェブスクレイピング、
様々なデータを私の手で扱って手に入れよう!

📣ご案内いたします。
この講義で扱うクパン、ネイバーウェブトゥーン、ティーストーリーなど、ウェブスクレイピングの対象サイトは、講義の撮影後に継続的な更新や改編のためにページが変更されたため、一部の機能はもはや利用できなくなった部分もあります。ご検討いただき、学習をお願いし、講義でお見せするすべての実習に従うのではなく、当時のページ状況に応じてどのようにアクセスできるかについての理解度を高める目的で講義を活用してください。

もしオオカミと七匹の赤ちゃんヤギの話、覚えていますか?

母が家を空にしている間、7匹の赤ちゃんのヤギだけが残っていますが、悪いオオカミが訪れます。
「私のお母さん、ドアを開けて」
ところがある赤ちゃんヤギが「私たちのお母さんの声はそんなに怖くない!」と扉を開けてくれません。

再び訪れたオオカミが今回はきれいな声で
「お母さんって、ドアを開けてくれますか?」
しようとした赤ちゃんヤギが尋ねます。

「手を差し出してみてください」
それから、私は暗い髪に爪が鋭い足を見ています
「私のお母さんの手はとても白くなっています」とドアを開けてくれません。

真っ白な小麦粉をいっぱい埋めて再び現れたオオカミの足を見て、
今回はヤギたちが騙されて扉を開けてくれて堕落します(結末スポはしません 😆😆)

さて、ここでオオカミはヤギの家を掘るために3回試みます。

1.ママという嘘
2.ママという嘘+きれいな声
3.ママという嘘+きれいな声+真っ白な小麦粉を埋めた足

結局3回目で家を掘ってしまいますね。


Webスクレイピング(Web Scraping)?

序論が長かったのですが、ウェブスクレイピングはまさにこのような過程が必要です。

ところがウェブスクレイピングでは実はヤギとオオカミの立場が少し変わります。

私たちが穏やかな赤ちゃんオオカミになり、ターゲットサーバーが落ち込んでいる筋肉質の大型で角質のママヤギになります。

そのためにはいくつかのアプローチが活用されていますが、私の講義で上のオオカミの戦略を順番に一つずつすべて説明します。

確かに、 WebスクレイピングWebクロールは少し異なります。

ウェブクロールは、
アジェ(私を含む)はアシルテンデ昔に「本の本を読んでみましょう」というプログラムがありました。ですね(「黄金本」の説明は論外とさせていただきます^^)

この時、皆さんがゲストならどうしますか?
おそらくこれを問わず、模造本をできるだけ早く入れようとするでしょう。

一方、ウェブスクレイピングは、試験前日に先生が白い紙を一枚与えながら、皆さんがどんな内容でも手書きをしてくれと言います。

それでは、おそらく授業で学んだ重要な内容や覚えにくい公式、英語の単語のようなものを参考にしやすい形にすることでしょう。


言い換えれば、ウェブスクレイピング、ウェブサイトから私が望むデータを抽出し、私が望む形に加工する行為を指します。

たとえば、ネイバーウェブトゥーンページにあるすべての漫画のタイトルやリアルタイムランキングトップ1-10を取得したり、

クパンのようなショッピングモールでぴったり私が欲しい条件に合う商品だけリンクと一緒に持ってくるとか、
例では

  • トップ1〜5ページ内
  • レビューが100件以上
  • 評価が4.5点を超えて
  • Apple製品を除く
  • 広告商品を除く

リストだけをインポートするように練習しました。
(絶対Appleが嫌だったりしたことではなく、ただ練習用に過ぎない😊😊)

イメージをダウンロードする練習もしてみます。

私が映画をすごく好きなのにどんな映画を見ればいいのか決定障害があり、ただ最近5年間観客数が最も多い上位5つの映画に対して合計25の映画ポスター画像をダウンロードしておいてその中に何か選択しようとします。私は好きなように保存できるようになります。

そして、一部のデータはインポートしてからExcelで管理したり、追加作業をしなければならない時もあります。

ところが、このようなサイトでは人ではなく自動化ボットが情報を抜くことを腐らないようにすることもできます。

しかし、いつものように、私たちは道を見つけるでしょう。

時にはログインが必要な場合や、ウェブページで何かをする必要があります。

たとえば、Googleムービーページで人気のチャートムービーのうち、現在割引中のムービー情報だけをインポートしたいのですが、ここにいるユーザーがスクロールしなければ、次のリストが呼び出されます。

または、ネイバー航空券は、私が希望するスケジュールを入力し、航空券照会ボタンをクリックすると、しばらくロードをしてからリストが表示されることもあります。

Seleniumを書くときも、このような部分については、エラーを減らすために、より繊細なアプローチが必要です。

Webスクレイピングを学ぶには事前知識が必要ですが、基本的にWebについて理解する必要がありますので、簡単にHTML、XPathについて勉強し、Chrome(Google Chrome)を活用するので、Chromeと開発者ツールの利用方法についても説明します。過ぎると様々なページに対して多くの実習が行われますので少しだけよく参考に従って来ていただければ幸いです。


多くの内容を勉強してみると整理できないかもしれないかと WrapUp 時間があります。

もちろん今回もクイズをいたします。
次の不動産物件で検索した結果情報を直接あなたがスクレイピングしてくる時間を持ってみましょう。

最後にプロジェクトを進めていきます。
私は毎朝起きて天気を確認し、主要なニュースやIT分野のニュースを読むのを簡単にするプログラムを作るつもりです。

すごく楽ですよね?
リンクをクリックすればすぐにニュース記事を読むこともできるようになります。


Pythonの基礎文法を学び、実力を築きたい方は、今すぐWebスクレイピングを学びましょう。
この映像一つで十分です。
さらに、私もコーディングは「無料」です。

Designed by freepik
https://www.freepik.com

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Pythonを学びましたが、どこで活用するのか心配です。

  • Webで必要なデータを1つ1つコピー貼り付けている場合

  • ショッピングモールのデータを数秒ですべてインポートしたい場合

前提知識、
必要でしょうか?

  • Pythonの基礎

こんにちは
です。

104,369

受講生

3,472

受講レビュー

919

回答

4.9

講座評価

11

講座

YouTubeでコーディング教育チャンネルを運営しているナドコーディングです。
誰もが楽しく簡単にコーディングを学べるよう、親切な説明と分かりやすい例題で講義を行っています。
コーディング、一緒に始めてみませんか? 😊

🧡 YouTube ナドコーディング
🎁 コーディング自律学習 ナドコーディングのPython入門
📚 コーディング自律学習 ナドコーディングのC言語入門

カリキュラム

全体

39件 ∙ (5時間 26分)

講座掲載日: 
最終更新日: 

受講レビュー

全体

163件

5.0

163件の受講レビュー

  • iambyunghyun님의 프로필 이미지
    iambyunghyun

    受講レビュー 8

    平均評価 4.9

    5

    100% 受講後に作成

    本物の才能寄付レベル

    • punk2001님의 프로필 이미지
      punk2001

      受講レビュー 7

      平均評価 4.4

      5

      31% 受講後に作成

      • algo님의 프로필 이미지
        algo

        受講レビュー 5

        平均評価 5.0

        5

        62% 受講後に作成

        • hdamkim님의 프로필 이미지
          hdamkim

          受講レビュー 4

          平均評価 5.0

          5

          100% 受講後に作成

          • jjoony6483님의 프로필 이미지
            jjoony6483

            受講レビュー 13

            平均評価 4.9

            5

            31% 受講後に作成

            無料

            nadocodingの他の講座

            知識共有者の他の講座を見てみましょう!

            似ている講座

            同じ分野の他の講座を見てみましょう!