강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

Kyoungjun Heo님의 프로필 이미지
Kyoungjun Heo

작성한 질문수

파이썬 입문 및 웹 크롤링을 활용한 다양한 자동화 어플리케이션 제작하기

BeautifulSoup 사용법 및 간단 웹 파싱 실습(1) - 네이버, 다음, 인프런

웹 전체를 다 읽지를 못해요

작성

·

213

0

from bs4 import BeautifulSoup

import urllib.request as req

import sys

import io

sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = 'utf-8')

sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = 'utf-8')

url = "http://finance.daum.net/"

res = req.urlopen(url).read()

soup = BeautifulSoup(res, "html.parser")

print('soup', soup)

top = soup.select("div#boxTopSectors")

print(top)

저렇게 코딩을 했는데요 실제 크롬에서 (F12)에서 보이는 HTML Elements값을 다 갖고오지 못합니다

원인을 찾지 못하겠어요

파싱 결과값

<div class="mainB">

<div class="leftW">

<div class="topNews" id="boxTodayNews">

<div class="rankingB" id="boxBestSearchs">

<div class="rankingB line" id="boxTopSectors">

실제 HTML

<div class="rankingB line" id="boxTopSectors">

<div class="halfB"><div class="titB">

업종 상위 - 코스피

<a href="/domestic/sectors?market=KOSPI" class="btnMore" title="더보기">더보기</a>

<ul class="list">

  • <em class="ty01">1

    <a href="/domestic/sectors/D0011020" class="txt">통신업

    <span class="up">+2.16%

    <a href="/quotes/A006490" class="up">

    <i>▲</i>인스코비

    </a>

  • <em class="ty02">2

    <a href="/domestic/sectors/D0011005" class="txt">음식료품

    <span class="up">+1.55%

    <a href="/quotes/A271560" class="up">

    <i>▲</i>오리온

    </a>

  • <em class="ty03">3

    <a href="/domestic/sectors/D0011017" class="txt">전기가스업

    <span class="up">+1.16%

    <a href="/quotes/A015760" class="up">

    <i>▲</i>한국전력

    </a>

  • <em class="ty04">4

    <a href="/domestic/sectors/D0011024" class="txt">증권

    <span class="up">+1.03%

    <a href="/quotes/A003535" class="up">

    <i>▲</i>한화투자증권우

    </a>

  • <em class="ty05">5

    <a href="/domestic/sectors/D0011013" class="txt">전기전자

    <span class="up">+0.27%

    <a href="/quotes/A014915" class="up">

    <i>↑</i>성문전자우

    </a>

  • <div class="halfB fr"><div class="titB">

    업종 상위 - 코스닥

    <a href="/domestic/sectors?market=KOSDAQ" class="btnMore" title="더보기">더보기</a>

    <ul class="list">

  • <em class="ty01">1

    <a href="/domestic/sectors/E4012075" class="txt">운송장비·부품

    <span class="up">+2.02%

    <a href="/quotes/A033600" class="up">

    <i>↑</i>에이코넬

    </a>

  • <em class="ty02">2

    <a href="/domestic/sectors/E4012153" class="txt">인터넷

    <span class="up">+0.76%

    <a href="/quotes/A143240" class="up">

    <i>▲</i>사람인에이치알

    </a>

  • <em class="ty03">3

    <a href="/domestic/sectors/E4012063" class="txt">출판·매체복제

    <span class="down">-0.01%

    <a href="/quotes/A036000" class="down">

    <i>▲</i>예림당

    </a>

  • <em class="ty04">4

    <a href="/domestic/sectors/E4012012" class="txt">기타서비스

    <span class="down">-0.11%

    <a href="/quotes/A215380" class="down">

    <i>▲</i>우정바이오

    </a>

  • <em class="ty05">5

    <a href="/domestic/sectors/E4012152" class="txt">방송서비스

    <span class="down">-0.53%

    <a href="/quotes/A028150" class="down">

    <i>▲</i>GS홈쇼핑

    </a>

  • 답변 1

    0

    좋은사람님의 프로필 이미지
    좋은사람
    지식공유자

    쪽지로 답변 드렸습니다.

    Kyoungjun Heo님의 프로필 이미지
    Kyoungjun Heo

    작성한 질문수

    질문하기