왓챠피디아 리뷰 크롤링 관련 질문입니다
미해결
왓챠피디아에 올라가 있는 넷플릭스 드라마 리뷰들을 파이썬으로 웹 크롤링 해보고 싶어서 https://github.com/Stan7s/IMDb-Review-Crawler/blob/master/IMDb-Review-Crawler.py 의 imdb 크롤링 방식을 참고했습니다. 그런데 IMDB에선 잘 되던 것이, 왓챠피디아 쪽은 리뷰가 크롤링 되지 않습니다. 어떻게 하면 해결할 수 있을까요? #수집하고 싶은 영화의 user riviews 페이지 url 붙여넣기 url = 'https://pedia.watcha.com/ko-KR/contents/tRzLggZ/comments' #수집하고 싶은 영화 리뷰 수 지정 MAX_CNT = 150 cnt = 0 print("url = ", url) res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res.text, "lxml") load_more = soup.select(".load-more-data") flag = True if len(load_more): ajaxurl = load_more[0]['data-ajaxurl'] base_url = base_url + ajaxurl + "?ref_=undefined&paginationKey=" key = load_more[0]['data-key'] else: flag = False while flag: url = base_url + key print("url = ", url) res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res.text, "lxml") for item in soup.select(".lister-item-content"): rating = item.select("span.rating-other-user-rating > span") if len(rating) == 2: rating = rating[0].text review = item.select(".text")[0].text pn = rating_transfer(int(rating)) review_list.append(review) rating_list.append(pn) cnt = cnt + 1 else: rating = "" review = item.select(".text")[0].text
- 크롤링
- 넷플릭스
- 왓챠
- 왓챠피디아
- 파이썬
- 웹크롤링