inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

동적 크롤링에 관련하여 질문 드립니다.

748

송의정

작성한 질문수 2

0

안녕하세요. 이번에 크롤링 강의를 듣고 있는 수강생 입니다. 

현재 네이버 지도에서 위치를 검색 후 클릭 -> 클릭-> 한 후 네이버의 한줄평 리뷰 를 크롤링 하는 자체 프로젝트를 진행중입니다. 

 

이때, 검색창을 찾고, click() 을 이용해 Crawling 을 위한 (3) 페이지 로딩까지는 성공하였으나, 

옆의 화면에서 click 및 어떠한 활동도 할 수 없는 상태입니다. 

 

제 소스 코드는 이렇습니다. 

 

for l in list_loc:
ele = l.split((','))[:-1]
comp = unicodedata.normalize('NFC',ele[-1][-1])
if comp != dong and comp != eup and comp != myun and comp != lee and comp != ga :continue
address = ele[0]+' '+ele[1]+ ' '+ele[2]+' 식당'
add_quote = urllib.parse.quote(address)

driver.get(url)
sleep(1)
key_search = address
time_wait(2,'div.input_box > input.input_search')
search = driver.find_element(By.CSS_SELECTOR,'div.input_box > input.input_search')
sleep(1)
search.send_keys(key_search)
search.send_keys(Keys.ENTER)
res = driver.page_source
soup = BeautifulSoup(res, 'html.parser') # html 파싱하여 가져온다

sleep(1)
def switch_frame(frame):
driver.switch_to.default_content() # frame 초기화
driver.switch_to.frame(frame) # frame 변경
res
soup

def page_down(num):
body = driver.find_element(By.CSS_SELECTOR,'body')
body.click()
for i in range(num):
body.send_keys(Keys.PAGE_DOWN)

switch_frame('searchIframe')
page_down(3)
sleep(1)
# 매장 리스트
store_list = driver.find_elements(By.CSS_SELECTOR, '._1EKsQ')
next_btn = driver.find_elements(By.CSS_SELECTOR, '._2ky45 > a')
print(len(next_btn), '....')

for btn in range(len(next_btn))[1:]: # next_btn[0] = 이전 페이지 버튼, 1,2 : 광고/ 0,1,2 무시 -> [3]부터 시작
print(next_btn[btn].text, 'adsadsa')

store_list
print(store_list[0].text)
store_page = driver.find_elements(By.CSS_SELECTOR, '.OXiLu')

for data in range(len(store_list)): # 매장 리스트 만큼
#print(data, len(store_page), store_page[data].text, '00')
store_page[data].click()
sleep(2)
try:
driver.switch_to.default_content()
print('switch test1')
sleep(0.5)
driver.switch_to.frame('entryIframe')
sleep(4)
print('switch test2')
reviews = driver.find_elements(By.CSS_SELECTOR,'_2RG_o')
except:pass

 

여기서, (3) 의 페이지가 네이버 지도의 entryIframe 안에 있는 것을 알고, switch frame 을 시도했습니다만, 무슨 락이 걸려 있는것인지 저 entryIframe 이 전혀 검색이 되지 않습니다. 

 

 

하지만 소스 페이지 검색 결과, entryIframe 는 분명이 존재합니다. 

 

제가 무엇을 빼먹은 것인지, 무엇을 잘못 하고 있는 것인지 알고 싶습니다. 감사합니다. 

크롤링 selenium

답변 0

섹션 5 부분 exe 파일 과정

0

9

1

requirements.txt. 업데이트 해주세요.

0

81

2

멜론 사이트 수집부터 안됩니다

0

78

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

70

1

시간이 넘 지나서 구매했더니 현재 변경된 환경에서 어려움이 있네요.

0

56

1

섹션3 - 11 질문

0

104

3

32강 자료 어딨어요? 링크 주세요

0

86

2

크롤링 관련 질문

0

128

1

프로젝트 생성 오류

0

73

1

선생님 셀에서 전체 실행은 어떻게하나요?

0

101

2

19강 문의

0

95

2

17강 문의

0

126

2

-href 가져오기

0

101

2

수업 영상 소리

0

63

1

google colab 실행 오류 문의

0

300

1

블로그자동화프로그램 강의에 대해 질문드립니다

0

152

2

qt designer로 ui 생성한 후

0

221

4

QT 디자이너 다운로드 받는 방법을 카페에 설명해놨다고 하는데 없네요

0

162

2

카페 등업 확인부탁드릴게요

0

307

2

수강생의 혜택에 대해 문의드립니다

0

102

1

HTTP Error 401: Unauthorized

0

494

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

164

1

25-3-08 키워드 경쟁강도 분석코드설계

0

146

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3748

1