willow06121942

요약 - 네이버 웹툰에서 <code>print(soup.a)</code> 를 쓰면 Source - webtoon 만 스크래핑되어 None으로 반환되는 것 같습니다.<pre class="hljs"><code>import requests
from bs4 import BeautifulSoup

url = "https://comic.naver.com/webtoon"

res = requests.get(url, headers=headers)
res.raise_for_status()

soup = BeautifulSoup(res.text, "lxml")
# print(soup.title)
# print(soup.title.get_text())
# print(soup.a)
print(soup.a)

with open("naverwebtoon.html", "w", encoding="utf8") as f:
 f.write(res.text) </code></pre>저도 같은 현상으로, 앞서 배웠던 코드를 활용하여<ol><li>headers 코드를 작성해 보았으나, 동일한 현상이 발생(위의 코드에서는 삭제)</li><li>&nbsp;</li></ol><pre class="hljs"><code>with open("naverwebtoon.html", "w", encoding="utf8") as f:
 f.write(res.text)</code></pre>위 코드를 작성 후 실행 -> html 파일을 생성 후 해당 파일 내용 및 우클릭 - Open In Default Browser -> 해당 페이지와 네이버 웹툰 페이지와 비교 확인 시,3. 네이버 웹툰 페이지의 Elements : div 밑에 a href가 확인<img src="https://cdn.inflearn.com/public/files/posts/d24fa400-faf1-46cf-8c66-e123839c6f30/áá³áá³ááµá«áá£áº2024-07-23áá©áá®6.37.10.png" alt="image" title="image"> 네이버 웹툰 페이지의 Sources - webtoon : 생성된 naverwebtoon.html의 내용과 동일하고 a 가 없음<img src="https://cdn.inflearn.com/public/files/posts/d135fee1-2f4e-426f-8c22-58c572da666c/áá³áá³ááµá«áá£áº2024-07-23áá©áá®6.42.19.png" alt="image" title="image">때문에 a가 없는 관계로 None으로 나오는 듯 합니다. 위 목록을 보면 <code>requests</code> 라이브러리를 사용했을때, 처음 webtoon HTML만 가져오고, JavaScript에 의해 로드되는 아래 .js콘텐츠들은 가져오지 않는 것 같습니다.저는 그래서 그냥 구글 페이지로 연습했네요ㅠ혹시 위 내용이 틀렸거나, 해결 방법 찾으신 분들은 공유해주시면 감사하겠습니다🥹

willow06121942

Posts