実践しながら学ぶクローリングマスター withデータ工房

YouTubeのコメント収集する部分変更ご案内いたします。

YouTubeのコメントを収集すると、現在は以下のロジックに進みます。

1. YouTube全体のコメント数を取得する

2. 最大回数(500回)まで進行しながら、コメントスクロールダウン→全体のコメント数と一致する場合は停止

最初にインポートされたコメントの総数が大文字数だけを取得し、

以下で収集するコメント数は一般コメントのみカウントする問題がありました。

2つの方法でアクセス可能です。

1. すべての大コメントをインポートして数字でカウントする方法

このときは、「返信を見る」ボタンを一つずつクリックすれば、大コメント情報収集が可能です。

これを行うと、1つずつクリックして結果を待つ待ち時間もかかり、大量のデータを収集します。

もっと時間がかかりますね。

2. コメントをスクロールし、既存のコメント数と差がない場合は停止します。

スクロールを下げながら、コメント数を先にまとめた数とずっと比較をして

スクロールしてもコメント数が増えないと完了した判断。このプロセスを止めることです。

2つの方法の長所と短所がありますが、2番目の方法はよりきれいに見える、

この方法でガイドをお届けします。

該当講義資料投稿（セクション5、YouTubeコメントを収集する2）にコード資料をアップロードします。