동적 크롤링에 관련하여 질문 드립니다.
748
작성한 질문수 2
안녕하세요. 이번에 크롤링 강의를 듣고 있는 수강생 입니다.
현재 네이버 지도에서 위치를 검색 후 클릭 -> 클릭-> 한 후 네이버의 한줄평 리뷰 를 크롤링 하는 자체 프로젝트를 진행중입니다.
이때, 검색창을 찾고, click() 을 이용해 Crawling 을 위한 (3) 페이지 로딩까지는 성공하였으나,
옆의 화면에서 click 및 어떠한 활동도 할 수 없는 상태입니다.
제 소스 코드는 이렇습니다.
for l in list_loc:
ele = l.split((','))[:-1]
comp = unicodedata.normalize('NFC',ele[-1][-1])
if comp != dong and comp != eup and comp != myun and comp != lee and comp != ga :continue
address = ele[0]+' '+ele[1]+ ' '+ele[2]+' 식당'
add_quote = urllib.parse.quote(address)
driver.get(url)
sleep(1)
key_search = address
time_wait(2,'div.input_box > input.input_search')
search = driver.find_element(By.CSS_SELECTOR,'div.input_box > input.input_search')
sleep(1)
search.send_keys(key_search)
search.send_keys(Keys.ENTER)
res = driver.page_source
soup = BeautifulSoup(res, 'html.parser') # html 파싱하여 가져온다
sleep(1)
def switch_frame(frame):
driver.switch_to.default_content() # frame 초기화
driver.switch_to.frame(frame) # frame 변경
res
soup
def page_down(num):
body = driver.find_element(By.CSS_SELECTOR,'body')
body.click()
for i in range(num):
body.send_keys(Keys.PAGE_DOWN)
switch_frame('searchIframe')
page_down(3)
sleep(1)
# 매장 리스트
store_list = driver.find_elements(By.CSS_SELECTOR, '._1EKsQ')
next_btn = driver.find_elements(By.CSS_SELECTOR, '._2ky45 > a')
print(len(next_btn), '....')
for btn in range(len(next_btn))[1:]: # next_btn[0] = 이전 페이지 버튼, 1,2 : 광고/ 0,1,2 무시 -> [3]부터 시작
print(next_btn[btn].text, 'adsadsa')
store_list
print(store_list[0].text)
store_page = driver.find_elements(By.CSS_SELECTOR, '.OXiLu')
for data in range(len(store_list)): # 매장 리스트 만큼
#print(data, len(store_page), store_page[data].text, '00')
store_page[data].click()
sleep(2)
try:
driver.switch_to.default_content()
print('switch test1')
sleep(0.5)
driver.switch_to.frame('entryIframe')
sleep(4)
print('switch test2')
reviews = driver.find_elements(By.CSS_SELECTOR,'_2RG_o')
except:pass
여기서, (3) 의 페이지가 네이버 지도의 entryIframe 안에 있는 것을 알고, switch frame 을 시도했습니다만, 무슨 락이 걸려 있는것인지 저 entryIframe 이 전혀 검색이 되지 않습니다.
하지만 소스 페이지 검색 결과, entryIframe 는 분명이 존재합니다.
제가 무엇을 빼먹은 것인지, 무엇을 잘못 하고 있는 것인지 알고 싶습니다. 감사합니다.
답변 0
섹션 5 부분 exe 파일 과정
0
9
1
requirements.txt. 업데이트 해주세요.
0
81
2
멜론 사이트 수집부터 안됩니다
0
78
1
강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.
0
70
1
시간이 넘 지나서 구매했더니 현재 변경된 환경에서 어려움이 있네요.
0
56
1
섹션3 - 11 질문
0
104
3
32강 자료 어딨어요? 링크 주세요
0
86
2
크롤링 관련 질문
0
128
1
프로젝트 생성 오류
0
73
1
선생님 셀에서 전체 실행은 어떻게하나요?
0
101
2
19강 문의
0
95
2
17강 문의
0
126
2
-href 가져오기
0
101
2
수업 영상 소리
0
63
1
google colab 실행 오류 문의
0
300
1
블로그자동화프로그램 강의에 대해 질문드립니다
0
152
2
qt designer로 ui 생성한 후
0
221
4
QT 디자이너 다운로드 받는 방법을 카페에 설명해놨다고 하는데 없네요
0
162
2
카페 등업 확인부탁드릴게요
0
307
2
수강생의 혜택에 대해 문의드립니다
0
102
1
HTTP Error 401: Unauthorized
0
494
2
수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?
0
164
1
25-3-08 키워드 경쟁강도 분석코드설계
0
146
1
안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?
0
3748
1





