inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[신규 개정판] 이것이 진짜 크롤링이다 - 기본편

네이버맵 크롤링 오류

271

heebum417

작성한 질문수 2

0

안녕하세요 덕분에 크롤링 강의를 공부할 수 있었고 그 후 네이버맵 식당관련정보를 크롤링하려고 하는데 문제가 생겨 고생고생하다가 질문글을 남깁니다!

데이터가 많아 구글링을 통해 멀티프로세싱으로 여러창을 띄워서 크롤링을 할 수 있었는데요

if __name__ == "__main__":

    start_time = time.time()

    num_cores = 6
    pool = multiprocessing.Pool(num_cores)
    # 검색어 배열

    keywords = ['서울숲 식당',
                '건대 식당',
                '성수 식당',
                '홍대 식당',
                '신촌 식당',
                '이대 식당',
                '상수 식당',
                '합정 식당',
                '한남 식당',
                '명동 식당']

    pool.map(get_data,keywords)

    pool.close()
    pool.join()
    # print(" ----------------------------------------- ")
    # print(" 실행 소요 시간 : 단위(초) ")
    # print(" ----------------------------------------- ")
    # print(time.time() - start_time)
    # print(" ----------------------------------------- ")

    conn.close()

이런식으로 메인함수를 작성하고 get_data함수는

def get_data(keyword):

    browser = webdriver.Chrome()
    table_nm = ""
    type = ''
    URL = 'https://map.naver.com/v5/search/' + keyword
    print(URL)


    browser.get(URL)
    browser.implicitly_wait(10)
    browser.maximize_window()

    # iframe(searchIframe) 전환
    switch_frame("searchIframe",browser)

    # iframe 안쪽을 한번 클릭하기
    browser.find_element(By.CSS_SELECTOR,"#_pcmap_list_scroll_container").click()

키워드를 받아 해당위치 식당을 검색하고 그 후 크롤링을 이어나가는 상황입니다.

그런데 여러창이 띄워져서 처음에 https://map.naver.com/v5/search/홍대 식당

이런식으로 들어가면

자동화된 크롬창에서 정보들이 뜨지 않는 문제를 겪고 있습니다

구글링해봐도 저와같은 문제상황을 찾지 못했습니다

도와주시면 정말 감사하겠습니다!!

python 웹-크롤링

답변 1

0

스타트코딩

규정상 강의 내용 외 질문은

실전편 수강생들에게만 제공하고 있습니다~

Live server 를 이용 해보고 싶은데 확장메뉴 설치가 막혀 있어요

0

64

2

'팀 단위 AI 업무 혁신' 자문 관련하여 문의드리고자 합니다. (연락처 요청)

0

39

1

import requests from bs4 import BeatifulSoup 이 단계에서 안 되네요

0

77

2

requests 관련 질문

1

138

2

설치 관련

0

132

2

vs code 결과출력이 안됩니다

0

143

1

크롤링 관련 질문입니다

0

211

2

word wrap 체크 후에도 콘솔 한줄로 출력되는현상

0

190

1

주피터에서 pip오류가 계속납니다

0

1084

3

강의 "requests, Beautifulsoup4 사용법 빠르게 알아보기"에서 질문이있습니다.

0

172

2

네이버쇼핑 검색창 넘어가기전 팝업창이 안사라져요

0

366

1

html주소를 다른 컴터에서도 접속하기

0

243

2

pandas 설치하는데 오류가 나서요

0

2709

1

실행오류

0

215

1

네이버쇼핑 무한스크롤 안되시는분들 모바일네이버로 실습해보세요

0

263

1

뉴스 페이지에 페이지 번호가 없는데 어떻게 가져오나요?

0

233

2

네이버 쇼핑에 팝업창이 뜨기 시작했어요 도와주세요 ㅠㅠ

0

724

3

셀레니움 실습 시 창이 자동 차단되면서 꺼집니다.

0

665

2

낮은 가격순을 클릭하는 문을 추가하고싶습니다.

0

305

2

pip는 내부 또는 외부명령 ,실행할 수 있는 프로그램

0

3393

2

이런오류는 어떤 오류인가요

0

661

1

창이 두개떠요/쇼핑검색도 안되요 ㅜ

0

334

2

약간 변태(?)같지만 해당 코드를 깔끔하게 함수로 리팩토링해보았습니다

0

338

2

과제 답안을 보지않고 스스로 구글링해서 만든 웹 크롤링 프로그램(10페이지 단위) 코드입니다.

0

760

2