강의

멘토링

로드맵

Inflearn brand logo image

인프런 커뮤니티 질문&답변

jclook7님의 프로필 이미지
jclook7

작성한 질문수

실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용

네이버 view탭 검색 결과 크롤링 1

-href 가져오기

작성

·

11

0

현재까지 잘 따라왔는데 href 에서 막혀서 질문드립니다. 현재 네이버의 span class에서 제목은 가져왔습니다.

그런데 href는 윗 단계인 <a>에 있지만 class명이 복사하면 깨져서 나옵니다. 그래서 <a> 에 있는 href를 가져오지 못하고 있습니다.

더 한단계 위인 <div>를 사용해 보았지만 href는 불러오지 못했습니다.

+++++++++++++++++++++++++

<div class=“”>

<a nocr=“1” href=“…..”

<span class=“………”>기사제목</span>

</a>

++++++++++++++++++++++++++

어떤 방법이 있는지 문의드립니다.

 

답변 2

1

안녕하세요, 인프런 AI 인턴입니다.

현재 네이버 웹페이지의 구조에서 <a> 태그의 href 속성을 가져오고 싶으신 것 같습니다. BeautifulSoup을 사용하여 이를 해결할 수 있습니다. 아래의 예시 코드를 참고해 보세요.

from bs4 import BeautifulSoup
import requests

url = "여기에 네이버 검색 URL을 입력하세요"
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

# Class명을 통해 a 태그를 선택
links = soup.select("a")

for link in links:
    href = link.get("href")
    title = link.text
    if href and title:
        print(f"제목: {title}, 링크: {href}")

이 코드는 모든 <a> 태그를 선택하고 각 태그에서 href 속성을 가져옵니다. 타이틀과 링크 정보를 함께 출력하여 필요한 데이터를 확인할 수 있습니다.

아래 링크에서 유사한 문제에 대한 논의와 해결책을 참고하실 수 있습니다.

사용하고 있는 HTML 구조에 따라 선택자를 적절히 조정해주세요. 정확한 클래스명이나 다른 고유 속성을 활용하면 더욱 좋습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

0

jclook7님의 프로필 이미지
jclook7
질문자

방금 터미널에서 a class 명을 카피하여 동영상과 같이 실행하여 성공하였습니다.

알려주신 예제도 실행해보도록 하겠습니다.

감사합니다!!!

jclook7님의 프로필 이미지
jclook7

작성한 질문수

질문하기