구글에서 고양이 사진 100장 가져오기
238
작성한 질문수 1
안녕하세요~
beautifulsoup를 사용하여
구글에서 고양이 사진 100장 가져오는 실습을 완료해보고 싶은데
구글에서 고양이 사진 20장 밖에 가져오지 못하고 있습니다.
아래는 제 소스코드 입니다.
1. 어떤 부분을 추가해야 100장을 가져올 수 있을까요?
2. 그리고 왜 20장 밖에 가져오지 못하는 걸까요?
[소스코드]
# Issue : 어떻게 100장 가져올 수 있을까?
from bs4 import BeautifulSoup
import urllib.request as req
import urllib.parse as rep
import os
opener = req.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
req.install_opener(opener)
savePath = "/Users/kimhyeyeong/Documents/section2/google/"
base = "https://www.google.com/search?q="
input_quote = input("구글에서 어떤 이미지를 가져오고 싶습니까")
quote = rep.quote_plus(input_quote)
end = "&source=lnms&tbm=isch&sa=X&ved=0ahUKEwic4eDlhpjjAhWDwrwKHdbRCeQQ_AUIECgB&biw=1440&bih=766&dpr=2"
url = base + quote + end
res = req.urlopen(url)
savePath = "/Users/kimhyeyeong/Documents/section2/google/"
try:
if not (os.path.isdir(savePath)):
os.makedirs(os.path.join(savePath))
except OSError as e:
if e.errno != errno.EEXIST:
print("폴더 만들기 실패")
raise
soup = BeautifulSoup(res, "html.parser")
img_list = soup.select("table.images_table > tr > td > a > img")
for i, img_list in enumerate(img_list, 1):
fullFileName = os.path.join(savePath, savePath+str(i) + '.jpg')
req.urlretrieve(img_list['src'], fullFileName)
print("다운로드 완료")
답변 1
0
안녕하세요. smile974님
구글 이미지는 마우스 이벤트가 있어서 개발자 도구로 보시면 하단으로 스크롤시 request <-> response
패턴이 보이고 있습니다.
Selenium 을 후반부에 배우신 후 시도해 보시는 것을 추천드립니다.
약간은 어려운 작업이 될 것입니다. 성공하시면 크롤링의 많은 노하우를 습득하실 수 있을 거라 생각합니다.
기회가 된다면, 해당 예제를 제가 실습으로 추가해보겠습니다.
감사합니다.
현재 예제에서 error 발생
0
367
3
유튜브 동영상 다운로드
0
1448
2
Atom 에디터 관련
0
337
1
위시켓 폼데이터
0
274
1
스케줄러 사용 관련 질문 드립니다
0
627
1
selenium 에러
0
428
1
Progress bar 쓰레드 관련
0
489
1
Install Package 관련 문의
0
328
1
tkinter 샘플 코드 실행 오류 건
0
1267
1
4-7-6 네이버 & 카카오 주식 정보 가져오기
0
381
1
네이버자동로그인_by_selenium
0
876
1
위시캣 로그인 처리 및 크롤링 질문
0
345
1
2-8-1 네이버이미지 크롤링 질문
1
604
3
li:nth-of-type 질문
0
350
2
에러가 뜨는데 잘 모르겠어요ㅠ
0
401
2
Install Packages 항목이 안보이는 이유가 뭘까요?
0
401
2
환경변수 Path 설정 방법
0
631
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런
0
333
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소
0
477
3
download2-8-1. py질문
0
203
1
ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??
0
645
1
인프런 환경이 바뀌어서 제나름대로 하는데
0
196
1
다시올려주신 예제파일로하는데
0
190
1
아직도 에러가뜨나보네요?
0
584
1





