簡単に初めてのPython高度なクロール[Scrapy、Selenium、Headless Chrome]

こんにちは。残材ミコーディング Dave Lee です。

簡単に初めてのPython高度なクロールレッスンが更新され共有されます。

最近seleniumライブラリが更新され、メソッド名を変更しました。もちろん、メソッド名を変更しても、既存のメソッドは同じように使用できるようにするのが一般的です。 「互換性」のためです。さて、seleniumライブラリ開発チーム？は既存のメソッドをまったくサポートしないようにしました。これにより、既存のseleniumを活用したコードはseleniumライブラリのバージョンによって、動作しないケースが発生しますが、大きな決定のようです。

これと一緒にコードには影響しませんが、変更したいコードが見えて、次のように2つのことを変更しました。

1. find_element_by_***() メソッドをすべて find_element(By.***, ***) と同じ型に変更されました。

- 例: find_element_by_id('myid') --> find_element(By.ID, 'myid')

- By.IDなどを宣言するには、次の追加宣言も必要です。

from selenium.webdriver.common.by import By

2. seleniumが4.xx以上では、コードには影響しませんが、初期設定コードも変更したいようです。

- 従来はパスを直接引数として入れれば良いのですが（例：webdriver.Chrome（chromedriver））

- 以降は Service オブジェクトに入れる方向に変更されるようです。 （例：webdriver.Chrome（service = Service（chromedriver））

- このために、webdriver_managerライブラリも別途インストールが必要です。

 

以上の変更が事実上、メソッド名が変更されただけですが、コアメソッド名が変更され、関連コードおよび資料をすべて更新しました。次の章のコードを含む資料をすべて更新しましたので、必要に応じて、新しくダウンロードしていただければ幸いです。

- SeleniumとScrapyフレームワーク大きな画像と目標を理解する

- 練習問題で解決する1：Headless ChromeとSeleniumクロール

- XPATH 大きな画像で理解する

- 練習問題で解いて理解するXPATH活用

- Seleniumを活用したマルチページクロール

- Scrapy 多様な使用法: Selenium と Scrapy を組み合わせて、動的ウェブページをクロールする

 

私も今日急いで知り合い、急いで修正しました。どうぞ進行に問題はなかったらと思います。

ありがとうございます。