現在最強のクロール技術: ScrapyとSeleniumを征服

こんにちは。残材ミコーディング Dave Lee です。

今回は講義改善関連計画を共有いたします。

本講義がオープンしてから4年目に入っているようです。本来の意図は、実戦サイトで最も多様な例を通じて、クロールやIT関連技術に慣れるように作られました。事実上実戦サイトにしてみると、これまで多くのサイトが変更されて、できるだけ各サイトの変更されたコードを共有させていただきましたが、今は限界点を迎えたようです。

もちろん、さまざまなケースの例を紹介することは、実際に必要なサイトをクロールしたい場合は、能力を養うというレベルで役に立つと思います。しかし、どうやら本講義をITキャリアを築きたい方と、そうではなく、クロールだけをしたい方、こうして二つの部類が聞いてみると、後者にいる方にはもう少し残念があるようです。

だから、様々なサイトをお見せする部分は残念ですが、あきらめて、可能な私が個人的にテスト次元で作った一種のブログサイトに基づいて、selenium部分をテストできるように、コードを作成し、講義を新たに更新する予定です。

私が現業にいるので、急いでこの部分だけ進めるのは無理がありますが、可能な11月以内にはアップデートをさせていただき、再度お知らせいたします。

すでに残材ミコーディング関連の様々な講義を聞いている方は、どうやって見れば追加講義を得ることだと肯定的に考えていただければ幸いです。いつも私の講義を選んでくださった方々は、少なくとも期待を捨てないように、良い経験ができるように努力いたします。

ありがとうございます。~~~

こんにちは。

長い準備の終わりに、初めてのPythonマシンラーニングブートキャンプ講義を100％オープンすることになり、共有をいたします。
講義オープンに遅れとなった部分もあり、オープン期間中、最大割引もかけました。

本講義は、私が試行錯誤した部分を改善して作った講義です。
私が機械学習/人工知能技術を身につけ始める時が、7年前です。最初は人工知能技術を身につけてみましたが、人工知能の原理だけをしばらく聞く風に、疲れてあきらめたりしました。また、マシンラーニングも身につけてみましたが、数学的証明と線形代数だけ身につけ、あきらめたりもしました。

今から見れば、人工知能であれ機械学習技術を身につけるには、次の手順でやればはるかに簡単に身につけられたようです。
Python -> pandas ->機械学習の主な概念+機械学習の実践適用のための多様な実践技術 ->人工知能

機械学習は人工知能を含む最も基本的な概念が含まれています。関連する特別な事故も含まれています。また、概念と実際の機械学習を実際の問題に適用するときに使用する特別なさまざまな手法もあります。実際の問題で核心概念と実際の問題に適用する技法を身につけ、適用してみて、機械学習の適用にまず慣れれば、より関連技術の理解度が高まります。これを基に人工知能技術を身につければ、より簡単に身につけ、全体的に身につけて活用できます。

機械学習があまりにも膨大で、数学的な部分まで入ると、いくつかの学問集合体の性格もあり、こういう部分をどうすれば、必要な部分をうまく整理し、集中して、実際の問題に使われる技法とともに身につけることができるかを悩むで作った講義です。やむを得ない既存の講義だから、さらにやはり時間がかかりました。

開発者でも、機械学習/人工知能は見逃せない、ちょっと曖昧な技術のようです。 、データ科学キャリアをお考えの方も関連技術を早くおなじみにして、データ科学キャリアのお出迎えの役割をという講義を目指しました。

今後、次のようにデータロードマップのとおり、人工知能講義も用意してオープンいたします。
どうぞ是非役に立ち、講義が真の印象深い講義になることを願います。
ありがとうございます。

データサイエンスロードマップ

1. Pythonとデータ収集（クロール）の基本（PythonとWeb、データの理解の基本）
2. ScrapyとSelenium征服（既存の最強クロール中級技術と関連IT知識）
3. SQLとデータの保存/分析の基本（データの保存/分析）
4. NoSQL（mongodb）ビッグデータ基本（ビッグデータの保存/分析）
5. 初めてのPythonデータ分析（データ前処理とパンダ、最新の可視化） [データ科学 Part1]
6. 初めてのPythonマシンラーニングブートキャンプ
7. AI人工知能ブートキャンプ(データ予測自動化、22'上半期) [データ科学 Part3]

• すでに開発者であれば、ドッカーと最新技術は最近サーバー技術の一つであるクーバーネティスや、チーム単位配布技術の基盤にもなったりして、必ずしっかり身につけておく必要もありますよ。
• まだ開発者に進んでいく過程の中にいらっしゃるなら、個人的にはドッカーとサーバーを扱うことができるかが、蒸した開発者になる第一歩ではないかと思います。

• 次の講義は機械学習講義で、6月末を目指しています。
• フルスタックシリーズは最近flutterが2.0が出てきました。 flutterはアプリ/ウェブ/PCプログラムを一度に作ることができ、動向を調べる必要があるようです。ある程度市場で役に立つとの評価が出たら、最初からReactでもVueでもWeb技術を飛び越え、すぐにflutter先に身につけたらどうかという考えはしています。この部分は6月以降の動向を見ながら、一度詳しく共有させていただきます。

インフラにオープン中またはオープン予定の講義コース

フルスタックコース：最新のWeb/アプリサービスをA to Zで一人でも作成できるテクトリ

身につけた順番に番号を貼り付けました。

1. Pythonとデータ収集（クロール）の基本（PythonとWeb、データの理解の基本）
2. MySQLとデータの保存/分析の基本（SQLデータベースの基本）
3. NoSQL（mongodb）ビッグデータ基本（NoSQLデータベース基本）
4. 最速フルスタック: Pythonバックエンドとウェブ技術基本 [フルスタック Part1]
5. フルスタックのためのしっかりしたフロントエンド基本: javascript (Vanilla JS と ES6+) と最新のウェブ技術 [フルスタック Part2]
6. フルスタック用のドッカーと最新のサーバー技術（Linux、nginx、AWS、HTTPS、flaskデプロイ） [フルスタックPart3]
7.フルスタックアプリ開発のためのflutter基本（フルスタックPart4、21'下半期オープン予定）
8.フルスタック用のVueまたはReactフレームワークの基本（フルスタックPart5、21 '下半期予定）

アプリ/ウェブ技術が急激に変化しており、優先順位を調整しました。より最新の技術を先取りするために、ウェブとアプリの両方をサポートする最新の技術であるflutterを優先します。

*現在までのフルスタック講義パッケージを割引価格で提供しています。 （割引率はまもなく縮小予定です。）
[入門～中級]最も簡単で最新の技術で身につけるフルスタックロードマップ （ショートカット）

データ分析/科学コース: 必要なデータを取り込んで分析し、予測までできる最新のテクトリ

身につける順番に番号を貼り付けました。

1. Pythonとデータ収集（クロール）の基本（PythonとWeb、データの理解の基本）
2. ScrapyとSelenium征服（既存の最強クロール中級技術と関連IT知識）
3. SQLとデータの保存/分析の基本（データの保存/分析）
4. NoSQL（mongodb）ビッグデータ基本（ビッグデータの保存/分析）
5.初めてのPythonデータ分析（データ前処理とパンダ、最新の可視化）
6.機械学習基本（データ予測、21 '6月）
7. AI人工知能基本（データ予測自動化、21 '下半期）

*現在までのデータ科学講義パッケージを割引価格で提供しています。 （割引率はまもなく縮小予定です。）
【入門～初級】就職のためのデータ分析 基本技術簡単！入念に身につける （ショートカット）

 

こんにちは。

残材ミコーディング Dave Lee です。

「ジマーケットをクロールし、スクレイピ本番活用法を身につける5」映像に、追加説明をつけて、アップデートしました。

その画像でparse_subcategoryを呼び出す部分のコード説明があります。

この部分が私が差し上げたコードに加えて、直接コードで書くなら、settings に追加的に次の設定をしてくれなければならないのです。

DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'

他の映像どこかがこの部分について私が説明したと思いはしているのに、

私が逃したのではなく、もう一度多くの時間をかけて、録画と編集を再びしました。

もっと理解に役立つと思いますので、共有いたします。

ありがとうございます。

こんにちは。 Dave Lee（残材ミコーディング）です。

久しぶりに新規講義のお知らせを共有いたします。

初めてのPythonデータ分析 [前処理、パンダ、可視化までの全過程の基本技術を簡単に習得]

Pythonでデータの前処理から、pandas、最新の可視化（plotly）まで習得できる講義です。

1. 実践例を最初から最後まで一緒に分析してみて関連技術を説明し、授業を聞いた後はどんなデータでもデータ分析をすぐにできるように飾ります。

2. pandas が隠れ文法が面倒で、プログラミングになってもこちらを最後に使用することは容易ではありません。だからといってエクセルにすることはできないことだから…こういう部分を入門者も理解できるように、そして実戦例としてすぐに活用できるようにしました。

3. ビジュアライゼーションの方も既存の技術はあまりにも古い技術であり、うまくいかない場合も多く、表現も容易ではありませんでした。だから操作も簡単で、分析にも便利で、そして可愛い（気に入っています）最新の可視化技術を簡単に活用できるように説明します。

4. ここに現業で実際のデータ分析をする際に必要なヒントを入れました。

最後に講義の数が多くなると、どんな順番で受講すればいいかお問い合わせいただく方がきっかけで、次のように大きくデータ分析/科学トラックとフルスタックトラックの順序と今後の方向を共有します。 （データサイエンス＋フルスタック、かっこいいですか？）インフラストラクチャで最高のレッスンを開くために準備しています。

個人的には、私が講義を開くと、私の講義が役に立ったと感じた人たち
いったんその技術は大きな心配と苦労なく皆さんのものになり、
すぐに活用できるという感じがしたら本当にいいのではないかと思います。ありがとうございます。~~~

データ分析/科学コース

1. Python入門とクロール基礎ブートキャンプ（Pythonとデータ収集の基本）
2. ScrapyとSelenium征服（データ収集中級技術と関連IT知識）
3. SQLとデータの保存/分析の基本（データの保存/分析）
4. NoSQL（mongodb）ビッグデータ基本（ビッグデータの保存/分析）
5. Pythonデータ分析の基本（データ分析）
6. 機械学習／人工知能基本（データ予測、懸命に準備しています）

フルスタックコース

1. Pythonとデータ収集（クロール）の基本（PythonとWeb、データの理解の基本）
2. SQLとデータの保存/分析の基本（SQLデータベースの基本）
3. NoSQL（mongodb）ビッグデータ基本（NoSQLデータベース基本）
4. バックエンド基本と中級（一生懸命準備しています）
5. フロントエンド基本と中級（一生懸命準備しています）
6. フルスタック基本とクローンコーディング（一生懸命準備しています）

こんにちは。残材ミコーディング Dave Lee です。

私が講義を作るとき、講義資料をできるだけ早く習得し、活用できるように作ろうとしました。それで、受講生の方々が該当資料をダウンロードされ、うまく活用していると知っています。ところで、一部の講義関連資料をインフラストラクチャからどのようにダウンロードできるかわからない場合があるようで、もう一度新刊で共有します。

次のように右上の目次をクリックし、各レッスン目次の左側のダウンロードアイコンをクリックすると、各レクチャーに合った資料をダウンロードできます。

各講義に合った資料を各講義にマッチングして一日を上げていただくので、各講義に合った資料をその都度ダウンロードして講義を受講すればより学習効果が大きかったです。それではぜひ役に立てば幸いです。ありがとうございます。

こんにちは。 Dave Leeです。明けましておめでとうございます。

Seleniumが各PC環境によって実行できない場合があるかもしれませんが、この部分についていくつか試してみる方法を共有します。

まず、Windowsでは、次のようにChrome（）を実行するときに、executable_pathを次のように入れてくれると、実行になる場合を受講する方が共有していただきました。変えてください。）ありがとう！

-------------------------------------------------- ---

driver = webdriver.Chrome( executable_path=r"C:/path/chromedriver.exe" )

-------------------------------------------------- ---

また、Mac環境の場合、CatalinaでMac OSをアップデートした後、既存のchromedriverがセキュリティ上の問題で実行できない場合を発見しました。セキュリティ設定を変更する方法もありますが、この場合は単に chromedriver を /usr/local/bin ディレクトリに置き換えて実行してみるとよいようです。この部分がない場合は、講義で共有し、サイトで

https://sites.google.com/a/chromium.org/chromedriver/

新しくchromedriverをダウンロードして、/usr/local/binディレクトリに実行ファイルを置き換えて、次のように実行すると正常実行になります。

-------------------------------------------------- ---

from selenium import webdriver

chromedriver = '/usr/local/bin/chromedriver'

driver = webdriver.Chrome(chromedriver)

-------------------------------------------------- ---

どうぞこのようなヒントもお役に立てば幸いです。