네이버맵 크롤링 오류
271
작성한 질문수 2
안녕하세요 덕분에 크롤링 강의를 공부할 수 있었고 그 후 네이버맵 식당관련정보를 크롤링하려고 하는데 문제가 생겨 고생고생하다가 질문글을 남깁니다!
데이터가 많아 구글링을 통해 멀티프로세싱으로 여러창을 띄워서 크롤링을 할 수 있었는데요
if __name__ == "__main__":
start_time = time.time()
num_cores = 6
pool = multiprocessing.Pool(num_cores)
# 검색어 배열
keywords = ['서울숲 식당',
'건대 식당',
'성수 식당',
'홍대 식당',
'신촌 식당',
'이대 식당',
'상수 식당',
'합정 식당',
'한남 식당',
'명동 식당']
pool.map(get_data,keywords)
pool.close()
pool.join()
# print(" ----------------------------------------- ")
# print(" 실행 소요 시간 : 단위(초) ")
# print(" ----------------------------------------- ")
# print(time.time() - start_time)
# print(" ----------------------------------------- ")
conn.close()이런식으로 메인함수를 작성하고 get_data함수는
def get_data(keyword):
browser = webdriver.Chrome()
table_nm = ""
type = ''
URL = 'https://map.naver.com/v5/search/' + keyword
print(URL)
browser.get(URL)
browser.implicitly_wait(10)
browser.maximize_window()
# iframe(searchIframe) 전환
switch_frame("searchIframe",browser)
# iframe 안쪽을 한번 클릭하기
browser.find_element(By.CSS_SELECTOR,"#_pcmap_list_scroll_container").click()키워드를 받아 해당위치 식당을 검색하고 그 후 크롤링을 이어나가는 상황입니다.
그런데 여러창이 띄워져서 처음에 https://map.naver.com/v5/search/홍대 식당
이런식으로 들어가면

자동화된 크롬창에서 정보들이 뜨지 않는 문제를 겪고 있습니다
구글링해봐도 저와같은 문제상황을 찾지 못했습니다
도와주시면 정말 감사하겠습니다!!
답변 1
Live server 를 이용 해보고 싶은데 확장메뉴 설치가 막혀 있어요
0
64
2
'팀 단위 AI 업무 혁신' 자문 관련하여 문의드리고자 합니다. (연락처 요청)
0
39
1
import requests from bs4 import BeatifulSoup 이 단계에서 안 되네요
0
77
2
requests 관련 질문
1
138
2
설치 관련
0
132
2
vs code 결과출력이 안됩니다
0
143
1
크롤링 관련 질문입니다
0
211
2
word wrap 체크 후에도 콘솔 한줄로 출력되는현상
0
190
1
주피터에서 pip오류가 계속납니다
0
1084
3
강의 "requests, Beautifulsoup4 사용법 빠르게 알아보기"에서 질문이있습니다.
0
172
2
네이버쇼핑 검색창 넘어가기전 팝업창이 안사라져요
0
366
1
html주소를 다른 컴터에서도 접속하기
0
243
2
pandas 설치하는데 오류가 나서요
0
2709
1
실행오류
0
215
1
네이버쇼핑 무한스크롤 안되시는분들 모바일네이버로 실습해보세요
0
263
1
뉴스 페이지에 페이지 번호가 없는데 어떻게 가져오나요?
0
233
2
네이버 쇼핑에 팝업창이 뜨기 시작했어요 도와주세요 ㅠㅠ
0
724
3
셀레니움 실습 시 창이 자동 차단되면서 꺼집니다.
0
665
2
낮은 가격순을 클릭하는 문을 추가하고싶습니다.
0
305
2
pip는 내부 또는 외부명령 ,실행할 수 있는 프로그램
0
3393
2
이런오류는 어떤 오류인가요
0
661
1
창이 두개떠요/쇼핑검색도 안되요 ㅜ
0
334
2
약간 변태(?)같지만 해당 코드를 깔끔하게 함수로 리팩토링해보았습니다
0
338
2
과제 답안을 보지않고 스스로 구글링해서 만든 웹 크롤링 프로그램(10페이지 단위) 코드입니다.
0
760
2





