inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기

BeautifulSoup 사용법 및 간단 웹 파싱 실습(2) - 네이버, 인프런

네이버 이미지 셀리니움으로 추출 시

240

앙앙기모

작성한 질문수 11

0


while loop :
    count += 1
    #셀레니움 동적랜더링 스크롤내리기

    #스크롤을 가장 아래로 내림
    browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")

    # 페이지 로딩 대기
    time.sleep(interval)

    # 현재 문서 높이를 가져와서 저장

    curr_height = browser.execute_script("return document.body.scrollHeight")
    # if curr_height == prev_height :
    #     break
    if count >= 2 :
        loop = False

    prev_height = curr_height
print("스크롤 완료")
#스크롤 완료 스크린샷 찍기
browser.get_screenshot_as_file("NaverIMG_Animal.png")
   
img_len = len(browser.find_elements_by_css_selector('div._listGrid > div._grid > div '))
for idx , img in enumerate(range(0 , img_len)) :
    # img_list = browser.find_elements_by_css_selector('div._listGrid > div._grid > div ')
    img_list   = browser.find_elements_by_css_selector("div.photo_tile > div.tile_item")
    # try :
    #     elem = WebDriverWait(browser,5).until(
    #         EC.presence_of_element_located((By.CSS_SELECTOR , "div._listGrid > div._grid > div"))
    #     )
     # except TimeoutError as time :
    #     pass        
    if  img_list[idx].find_element_by_css_selector("div.thumb > a.link_thumb > img._image") : # img._image 태그가 있는 경우
        img_link = img_list[idx].find_element_by_css_selector("div.thumb > a.link_thumb > img._image").get_attribute("src")
        print(idx + 1 ,"-" ,img_link)
        print()


browser.quit()
지금 최초 데이터부터 10번째 데이터까지 이미지를 추출하는데 그 이상부터 no such element 에러가 납니다.네이버 에서 막은건가요?

python 웹-크롤링

답변 1

0

좋은사람

안녕하세요.

대기 시간을 충분히 줘서 다음 이미지가 렌더링 될때까지 기다려 보고

엘리먼트가 또 있는지 확인해 보세요.

저도 소스코드 확인해 보겠습니다.

현재 예제에서 error 발생

0

391

3

유튜브 동영상 다운로드

0

1481

2

Atom 에디터 관련

0

351

1

위시켓 폼데이터

0

284

1

스케줄러 사용 관련 질문 드립니다

0

642

1

selenium 에러

0

440

1

Progress bar 쓰레드 관련

0

499

1

Install Package 관련 문의

0

338

1

tkinter 샘플 코드 실행 오류 건

0

1278

1

4-7-6 네이버 & 카카오 주식 정보 가져오기

0

390

1

네이버자동로그인_by_selenium

0

883

1

위시캣 로그인 처리 및 크롤링 질문

0

354

1

2-8-1 네이버이미지 크롤링 질문

1

616

3

li:nth-of-type 질문

0

358

2

에러가 뜨는데 잘 모르겠어요ㅠ

0

406

2

Install Packages 항목이 안보이는 이유가 뭘까요?

0

410

2

환경변수 Path 설정 방법

0

642

1

웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런

0

344

1

웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소

0

495

3

download2-8-1. py질문

0

212

1

ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??

0

650

1

인프런 환경이 바뀌어서 제나름대로 하는데

0

199

1

다시올려주신 예제파일로하는데

0

194

1

아직도 에러가뜨나보네요?

0

591

1