
Java cơ bản của Nadocoding - Khóa học toàn bộ (20 giờ)
nadocoding
Một bài giảng sẽ dạy cho bạn niềm vui của việc học. Tôi sẽ giới thiệu những kiến thức cơ bản về Java của Nado Coding.
Beginner
Java, oop
HTML基礎から固守たちのスクレイピング秘法まで、すべてお知らせします。 この映像一つで十分です。
クパン、Googleムービー、ネイバーなど各種サイトスクレイピング戦略
動的にロードされるページも
Seleniumを活用したWeb自動化の基礎知識まで
面白くて便利なウェブスクレイピング、
様々なデータを私の手で扱って手に入れよう!
母が家を空にしている間、7匹の赤ちゃんのヤギだけが残っていますが、悪いオオカミが訪れます。
「私のお母さん、ドアを開けて」
ところがある赤ちゃんヤギが「私たちのお母さんの声はそんなに怖くない!」と扉を開けてくれません。
再び訪れたオオカミが今回はきれいな声で
「お母さんって、ドアを開けてくれますか?」
しようとした赤ちゃんヤギが尋ねます。
「手を差し出してみてください」
それから、私は暗い髪に爪が鋭い足を見ています
「私のお母さんの手はとても白くなっています」とドアを開けてくれません。
真っ白な小麦粉をいっぱい埋めて再び現れたオオカミの足を見て、
今回はヤギたちが騙されて扉を開けてくれて堕落します(結末スポはしません 😆😆)
さて、ここでオオカミはヤギの家を掘るために3回試みます。
1.ママという嘘
2.ママという嘘+きれいな声
3.ママという嘘+きれいな声+真っ白な小麦粉を埋めた足
結局3回目で家を掘ってしまいますね。
序論が長かったのですが、ウェブスクレイピングはまさにこのような過程が必要です。
ところがウェブスクレイピングでは実はヤギとオオカミの立場が少し変わります。
私たちが穏やかな赤ちゃんオオカミになり、ターゲットサーバーが落ち込んでいる筋肉質の大型で角質のママヤギになります。
そのためにはいくつかのアプローチが活用されていますが、私の講義で上のオオカミの戦略を順番に一つずつすべて説明します。
確かに、 WebスクレイピングとWebクロールは少し異なります。
ウェブクロールは、
アジェ(私を含む)はアシルテンデ昔に「本の本を読んでみましょう」というプログラムがありました。ですね(「黄金本」の説明は論外とさせていただきます^^)
この時、皆さんがゲストならどうしますか?
おそらくこれを問わず、模造本をできるだけ早く入れようとするでしょう。
一方、ウェブスクレイピングは、試験前日に先生が白い紙を一枚与えながら、皆さんがどんな内容でも手書きをしてくれと言います。
それでは、おそらく授業で学んだ重要な内容や覚えにくい公式、英語の単語のようなものを参考にしやすい形にすることでしょう。
言い換えれば、ウェブスクレイピングは、ウェブサイトから私が望むデータを抽出し、私が望む形に加工する行為を指します。
たとえば、ネイバーウェブトゥーンページにあるすべての漫画のタイトルやリアルタイムランキングトップ1-10を取得したり、
クパンのようなショッピングモールでぴったり私が欲しい条件に合う商品だけリンクと一緒に持ってくるとか、
例では
リストだけをインポートするように練習しました。
(絶対Appleが嫌だったりしたことではなく、ただ練習用に過ぎない😊😊)
イメージをダウンロードする練習もしてみます。
私が映画をすごく好きなのにどんな映画を見ればいいのか決定障害があり、ただ最近5年間観客数が最も多い上位5つの映画に対して合計25の映画ポスター画像をダウンロードしておいてその中に何か選択しようとします。私は好きなように保存できるようになります。
そして、一部のデータはインポートしてからExcelで管理したり、追加作業をしなければならない時もあります。
ところが、このようなサイトでは人ではなく自動化ボットが情報を抜くことを腐らないようにすることもできます。
しかし、いつものように、私たちは道を見つけるでしょう。
時にはログインが必要な場合や、ウェブページで何かをする必要があります。
たとえば、Googleムービーページで人気のチャートムービーのうち、現在割引中のムービー情報だけをインポートしたいのですが、ここにいるユーザーがスクロールしなければ、次のリストが呼び出されます。
または、ネイバー航空券は、私が希望するスケジュールを入力し、航空券照会ボタンをクリックすると、しばらくロードをしてからリストが表示されることもあります。
Seleniumを書くときも、このような部分については、エラーを減らすために、より繊細なアプローチが必要です。
Webスクレイピングを学ぶには事前知識が必要ですが、基本的にWebについて理解する必要がありますので、簡単にHTML、XPathについて勉強し、Chrome(Google Chrome)を活用するので、Chromeと開発者ツールの利用方法についても説明します。過ぎると様々なページに対して多くの実習が行われますので少しだけよく参考に従って来ていただければ幸いです。
多くの内容を勉強してみると整理できないかもしれないかと WrapUp 時間があります。
もちろん今回もクイズをいたします。
次の不動産物件で検索した結果情報を直接あなたがスクレイピングしてくる時間を持ってみましょう。
最後に、プロジェクトを進めていきます。
私は毎朝起きて天気を確認し、主要なニュースやIT分野のニュースを読むのを簡単にするプログラムを作るつもりです。
すごく楽ですよね?
リンクをクリックすればすぐにニュース記事を読むこともできるようになります。
Pythonの基礎文法を学び、実力を築きたい方は、今すぐWebスクレイピングを学びましょう。
この映像一つで十分です。
さらに、私もコーディングは「無料」です。
Designed by freepik
https://www.freepik.com
学習対象は
誰でしょう?
Pythonを学びましたが、どこで活用するのか心配です。
Webで必要なデータを1つ1つコピー貼り付けている場合
ショッピングモールのデータを数秒ですべてインポートしたい場合
前提知識、
必要でしょうか?
Pythonの基礎
100,746
受講生
3,146
受講レビュー
915
回答
4.9
講座評価
11
講座
유튜브에서 코딩 교육 채널을 운영하고 있는 나도코딩입니다.
누구나 쉽고 재미있게 코딩을 공부하실 수 있도록 친절한 설명과 쉬운 예제로 강의합니다.
코딩, 함께 하실래요? 😊
🧡 유튜브 나도코딩
🎁 코딩 자율학습 나도코딩의 파이썬 입문
📚 코딩 자율학습 나도코딩의 C 언어 입문
全体
39件 ∙ (5時間 26分)
1. Intro
00:16
2. 活用編3紹介
01:46
3. Webスクレイピングの紹介
05:21
4. HTML
09:24
5. XPath
11:20
6. クロム
03:32
7. Requests
07:40
8. 正規表現基本1
11:24
9. 正規表現基本2
08:03
10. User Agent
07:42
22. CSV基本2
06:24
23. Selenium基本1
11:23
24. Selenium基本2
05:56
27. Seleniumの活用1-2
05:33
29. Seleniumの活用2-2
10:21
30. Seleniumの活用2-3
09:58
31. Seleniumの活用2-4
04:43
32. ヘッドレスクロム
08:13
33. Wrap Up
08:41
34. クイズ(次の不動産)
10:51
全体
158件
5.0
158件の受講レビュー
受講レビュー 8
∙
平均評価 4.9
受講レビュー 4
∙
平均評価 5.0
受講レビュー 2
∙
平均評価 5.0
受講レビュー 2
∙
平均評価 5.0
受講レビュー 13
∙
平均評価 5.0
無料
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!