inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

네이버 view탭 검색 결과 크롤링 1

질문드려요

217

동휘김

작성한 질문수 30

0

강의 녹화 시점때와 다르게 현재 뷰 메뉴 태그값들이 모두 바뀐것같아서 강사님 강의에 따라 위 코드를 작성하였는데

 

v['href']를 사용하면 오류가 나와요...

v.select_one('a')['href'] 을 입력하면 #으로 나오고요...확인좀부탁드릴게여..

 

 

# 라이브러리 호출
import requests
from bs4 import BeautifulSoup

# 검색어 입력
search_word = input('검색어를 입력해주세요\t:\t')

# 크롤링 페이지 입력
target_url = 'https://search.naver.com/search.naver?where=view&sm=tab_jum&query=' + search_word
print(f'접속페이지\t:\t{target_url}')

# 데이터 요청
req_get_url = requests.get(target_url)
get_html = req_get_url.text
parser_soup = BeautifulSoup(get_html, 'html.parser')

# select를 활용하여 태그값에 해당하는 모든 값을 리스트화로 가져옴
raw_data = parser_soup.select('div.view_wrap')

for index, v in enumerate(raw_data):
    index += 1
    user_data = v.select_one('a.name').text   #▶▷▶▷▶▷ 뷰 게시글 작성자 추출

    try: #제목 태그를 의미하는 .title_link._cross_trigger 가 None이면, 제목을 의미하는 다른 태그인 .title_link 로 데이터 추출. 그 외 다른 태그값으로 인하여 None 발생을 통한 오류가 생기면 '제목없음'으로 오류 예외처리 진행
        title_data = v.select_one('.title_link._cross_trigger').text.replace('\n','').replace('\t',' ')   #▶▷▶▷▶▷ 뷰 게시글 제목① 추출
        if title_data == None:
            title_data = v.select_one('.title_link').text.replace('\n','').replace('\t',' ')   #▶▷▶▷▶▷ 뷰 게시글 제목② 추출
    except:
        title_data = '제목없음'
    print(f'{index} 번째글\n사용자명\t:\t{user_data}\n게시글 제목\t:\t{title_data}')

 

 

 

python 웹-크롤링 selenium beautifulsoup

답변 1

2

동휘김

아 강사님 속성값이 바껴있어서 맞춰서 변경하니나옵니다 감사합니다.

0

김플

해결하셨다니 다행입니다!
다른 질문 생기면 언제든지 올려주세요~

멜론 사이트 수집부터 안됩니다

0

70

1

강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.

0

65

1

-href 가져오기

0

95

2

수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?

0

160

1

안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?

0

3698

1

쿠팡 BeautifullSoup 헤더넣어도 막히네요

0

446

1

네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.

0

3199

1

추가 강의 업데이트 있나요?

0

247

1

lambda 중에 문의가 있습니다.

0

273

1

텔레그램 sendMessage 시 400에러가 뜹니다.

0

913

2

ftp 로긴 문제입니다. ㅜ

0

418

2

네이버 쇼핑 크롤링 질문입니다.

0

375

1

XPATH 네이버에서 카페 찾는 과정 문의입니다.

1

318

1

셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.

0

673

2

쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.

0

827

2

파이썬에 키워드를 치는게 아닌...

0

278

2

50프로 수강중입니다~

0

223

1

제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트

0

388

2

lst = lst50 + lst100 이거 대신에

0

327

2

증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ

1

292

1

네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ

1

245

1

선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ

0

358

2

네이버쇼핑 크롤링 문의

0

434

2

asyncio.run() cannot be called from a running event loop 에러 질문 드립니다

0

3918

4