• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

'더보기' 버튼으로 인한 제조사 및 연락처 'None' 발생

19.11.23 17:35 작성 조회수 1.04k

0

현재 영상과 다르게 G마켓 사이트가 '더보기' 버튼이 생겨서

크롤링 시 'None'로 오고 있습니다.

이것을 해결할려면 셀레니움을 쓸 수 밖에 없을까요?

requests 및 BeautifulSoup만으로 해결할 방법이 없을까요?

답변 2

·

답변을 작성해보세요.

0

응군님의 프로필

응군

질문자

2019.11.24

답변 감사합니다 ^^

0

안녕하세요. 저 조차도 '헐' 이라는 말이 튀어나왔습니다. 

일단, 각 상품 별로 현재 제조사 항목이나 연락처 가 없는 상품도 있고, 상세 항목 자체가 각 상품별로 달라진 것으로 보입니다. 이렇게 항목들이 상품 페이지 별로 다르다면, 다양한 상품 페이지에서 제조사/연락처를 동일한 패턴으로 크롤링하기는 어려울 것으로 보입니다. 제조사/연락처 예 부분은 사실 민감한 정보일 수도 있어서, 단순히 크롤링 기법을 익히기 위한 예제로만 이해해주시는 편이 더 좋을 것 같습니다.

또한 말씀하신대로, 해당 더보기 HTML 코드를 보니 더보기 버튼을 눌렀을 때, Ajax으로 데이터를 실시간으로 가져오는 것으로 보여서요. 이 부분은 selenium을 활용해야할 듯 합니다. 크롤링의 경우 예제 웹페이지가 수시로 변경되서 동일하게 크롤링이 안되는 부분이 부득이하게 발생하는데, 이 부분은 양해를 부탁드립니다.