'더보기' 버튼으로 인한 제조사 및 연락처 'None' 발생

미해결질문
응군 프로필

현재 영상과 다르게 G마켓 사이트가 '더보기' 버튼이 생겨서

크롤링 시 'None'로 오고 있습니다.

이것을 해결할려면 셀레니움을 쓸 수 밖에 없을까요?

requests 및 BeautifulSoup만으로 해결할 방법이 없을까요?

잔재미코딩 프로필
잔재미코딩 2019.11.23

안녕하세요. 저 조차도 '헐' 이라는 말이 튀어나왔습니다. 

일단, 각 상품 별로 현재 제조사 항목이나 연락처 가 없는 상품도 있고, 상세 항목 자체가 각 상품별로 달라진 것으로 보입니다. 이렇게 항목들이 상품 페이지 별로 다르다면, 다양한 상품 페이지에서 제조사/연락처를 동일한 패턴으로 크롤링하기는 어려울 것으로 보입니다. 제조사/연락처 예 부분은 사실 민감한 정보일 수도 있어서, 단순히 크롤링 기법을 익히기 위한 예제로만 이해해주시는 편이 더 좋을 것 같습니다.

또한 말씀하신대로, 해당 더보기 HTML 코드를 보니 더보기 버튼을 눌렀을 때, Ajax으로 데이터를 실시간으로 가져오는 것으로 보여서요. 이 부분은 selenium을 활용해야할 듯 합니다. 크롤링의 경우 예제 웹페이지가 수시로 변경되서 동일하게 크롤링이 안되는 부분이 부득이하게 발생하는데, 이 부분은 양해를 부탁드립니다. 

응군 프로필
응군 2019.11.24

답변 감사합니다 ^^

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스