파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

안녕하세요.

강좌에서 설명드린 웹페이지 다양한 크롤링 예제 중, 특정 1개의 예제에서 일부 크롤링 항목이 웹페이지 변경으로 인해, 해당 일부 항목만 크롤링이 어렵게 되었음을 확인하여 공유를 드립니다. 

크롤링 예제중 (1) 쇼핑몰 상품 정보 및  (2) 각 상품의 상세 페이지에서 제조사와 연락처를 크롤링하는 부분이 있는데요.

(2) 번의 경우에만, 현재 상품별 상세 페이지의 제조사/연락처를 포함한 상세 정보가 상품별로 항목이 다르게 바뀌어서, 제조사/연락처가 없는 경우도 많은 상황이 되었습니다. 또한, 이전과 달리 더보기 버튼이 생겼는데요. 상품별 상세 항목이 더보기 버튼을 누를 시에만 동적으로 가져오도록 되어 있습니다.

이 경우에는 본 강좌 (기초 강좌) 이후에 수강하시면 좋은 '현존 최강 크롤링 기술: Scrapy와 Selenium 정복' (중급 강좌) 에서 다루는 selenium을 사용하지 않고서는 크롤링이 어려운 상황입니다.

이 점은 실제 활용할만한 예제를 보여드리고자, 실제 사이트를 예로 들다보니, 사이트가 수시로 변경되어, 생기는 부득이한 문제임을 양해를 부탁드립니다. 더불어 해당 예제의 (2)번을 설명하는 부분은 크롤링 기법을 이해하는 예제로만 들어주시고, 해당 부분은 실제 웹페이지 변경으로 인해 크롤링이 가능하지 않다는 점을 유념부탁드리겠습니다.

다시한번 웹페이지 변경으로 인해, 특정 항목의 크롤링이 실제와 다르게 된 점 양해를 부탁드립니다.

감사합니다.