[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
프로젝트: 크롤링 + 엑셀 보고서까지 자동으로 만들며 익히는 프로그래밍1 (업데이트)
'더보기' 버튼으로 인한 제조사 및 연락처 'None' 발생
1371
작성한 질문수 3
현재 영상과 다르게 G마켓 사이트가 '더보기' 버튼이 생겨서
크롤링 시 'None'로 오고 있습니다.
이것을 해결할려면 셀레니움을 쓸 수 밖에 없을까요?
requests 및 BeautifulSoup만으로 해결할 방법이 없을까요?
답변 2
0
안녕하세요. 저 조차도 '헐' 이라는 말이 튀어나왔습니다.
일단, 각 상품 별로 현재 제조사 항목이나 연락처 가 없는 상품도 있고, 상세 항목 자체가 각 상품별로 달라진 것으로 보입니다. 이렇게 항목들이 상품 페이지 별로 다르다면, 다양한 상품 페이지에서 제조사/연락처를 동일한 패턴으로 크롤링하기는 어려울 것으로 보입니다. 제조사/연락처 예 부분은 사실 민감한 정보일 수도 있어서, 단순히 크롤링 기법을 익히기 위한 예제로만 이해해주시는 편이 더 좋을 것 같습니다.
또한 말씀하신대로, 해당 더보기 HTML 코드를 보니 더보기 버튼을 눌렀을 때, Ajax으로 데이터를 실시간으로 가져오는 것으로 보여서요. 이 부분은 selenium을 활용해야할 듯 합니다. 크롤링의 경우 예제 웹페이지가 수시로 변경되서 동일하게 크롤링이 안되는 부분이 부득이하게 발생하는데, 이 부분은 양해를 부탁드립니다.
크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요
0
33
1
정규표현식 및 여러 코드 꼭 외워야 하나요?
0
40
1
리스트 함수형도 정수 데이터 받을 수 있나요?
0
46
1
크롤링 관련 질문
0
64
1
문제 답이 없는 버전은 없나요?
0
74
1
requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.
0
83
1
업데이트 강의
0
98
2
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
0
124
2
연습용 예제 파일
0
76
1
lxml 관련 오류
0
106
1
SAVE Request 창 띄우는 법
0
92
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2
0
75
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.
0
98
1
예제 2, 4, 6에 대한 풀이 방식 질문.
0
89
1
문제 파일
0
78
1
pdf 파일 내 코드 복붙시 공백
0
291
1
데이터 저장 강좌 문의 건
0
96
1
" " 와 ' '의 차이를 알고 싶습니다
0
243
1
Exercise 22. 문자열 다루기 (strip)
0
132
1
list함수로 리스트 선언하면 실패하는데 이유는 무엇입니까?
0
187
1
셀 삽입후 바로 기입이 가능합니까?
0
139
2
주피터 노트북 마우스 스크롤? 오류
0
1550
2
등호 2개('==')의 의미가 뭐죠?
0
460
2
페이지가 넘어갈 때 url 변하지 않는 경우
0
267
1