유튜브 댓글 크롤링 업데이트
유튜브 댓글 수집하는 부분 변경 안내 드립니다.
유튜브 댓글 수집시 현재는 아래 로직으로 진행됩니다.
1. 유튜브 전체 댓글 수 가져오기
2. 최대 횟수(500회)까지 진행하면서, 댓글 스크롤 내리기 → 전체 댓글 수와 일치할 경우 멈추기
제일 처음 가져오는 전체 댓글 수가 대댓글 수만 가져오고,
아래에서 수집하는 댓글 수는 일반 댓글만 카운트 하는 문제가 있었습니다.
두 가지 방법으로 접근 가능한데
1. 모든 대댓글을 가져오고 숫자로 카운트 하는방법
이 때에는, "답글 보기" 버튼을 하나씩 클릭하면 대댓글 정보 수집이 가능합니다.
이렇게 할 경우에는, 하나씩 클릭하고 결과를 기다리는 대기시간도 걸리게 되어 대량의 데이터를 수집하는데
더 많은 시간이 걸리게 되네요.
2. 댓글 스크롤을 내리다가, 기존 댓글 수와 차이가 없을 경우 멈추기.
스크롤을 내려가면서, 댓글 수를 앞서 정리했던 수와 계속 비교를 하고
스크롤 내려도 댓글수가 늘어나지 않는다면 완료되었다 판단. 이 과정을 멈추는 것입니다.
두 방법의 장단점이 있지만 두 번째 방법이 더 깔끔한 것 같아,
이 방법으로 가이드를 드리겠습니다.
해당 강의 자료 게시글(섹션5, 유튜브댓글 수집하기2) 에 코드 자료 업로드 하도록 하겠습니다.
댓글