웹 전체를 다 읽지를 못해요
214
작성한 질문수 3
from bs4 import BeautifulSoup
import urllib.request as req
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = 'utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = 'utf-8')
url = "http://finance.daum.net/"
res = req.urlopen(url).read()
soup = BeautifulSoup(res, "html.parser")
print('soup', soup)
top = soup.select("div#boxTopSectors")
print(top)
저렇게 코딩을 했는데요 실제 크롬에서 (F12)에서 보이는 HTML Elements값을 다 갖고오지 못합니다
원인을 찾지 못하겠어요
파싱 결과값
<div class="mainB">
<div class="leftW">
<div class="topNews" id="boxTodayNews">
<div class="rankingB" id="boxBestSearchs">
<div class="rankingB line" id="boxTopSectors">
실제 HTML
<div class="rankingB line" id="boxTopSectors">
<div class="halfB"><div class="titB">
업종 상위 - 코스피
<a href="/domestic/sectors?market=KOSPI" class="btnMore" title="더보기">더보기</a><ul class="list">
<a href="/domestic/sectors/D0011020" class="txt">통신업
<span class="up">+2.16%
<a href="/quotes/A006490" class="up"> <i>▲</i>인스코비
</a>
<a href="/domestic/sectors/D0011005" class="txt">음식료품
<span class="up">+1.55%
<a href="/quotes/A271560" class="up"> <i>▲</i>오리온
</a>
<a href="/domestic/sectors/D0011017" class="txt">전기가스업
<span class="up">+1.16%
<a href="/quotes/A015760" class="up"> <i>▲</i>한국전력
</a>
<a href="/domestic/sectors/D0011024" class="txt">증권
<span class="up">+1.03%
<a href="/quotes/A003535" class="up"> <i>▲</i>한화투자증권우
</a>
<a href="/domestic/sectors/D0011013" class="txt">전기전자
<span class="up">+0.27%
<a href="/quotes/A014915" class="up"> <i>↑</i>성문전자우
</a>
<div class="halfB fr"><div class="titB">
업종 상위 - 코스닥
<a href="/domestic/sectors?market=KOSDAQ" class="btnMore" title="더보기">더보기</a><ul class="list">
<a href="/domestic/sectors/E4012075" class="txt">운송장비·부품
<span class="up">+2.02%
<a href="/quotes/A033600" class="up"> <i>↑</i>에이코넬
</a>
<a href="/domestic/sectors/E4012153" class="txt">인터넷
<span class="up">+0.76%
<a href="/quotes/A143240" class="up"> <i>▲</i>사람인에이치알
</a>
<a href="/domestic/sectors/E4012063" class="txt">출판·매체복제
<span class="down">-0.01%
<a href="/quotes/A036000" class="down"> <i>▲</i>예림당
</a>
<a href="/domestic/sectors/E4012012" class="txt">기타서비스
<span class="down">-0.11%
<a href="/quotes/A215380" class="down"> <i>▲</i>우정바이오
</a>
<a href="/domestic/sectors/E4012152" class="txt">방송서비스
<span class="down">-0.53%
<a href="/quotes/A028150" class="down"> <i>▲</i>GS홈쇼핑
</a>
답변 1
현재 예제에서 error 발생
0
367
3
유튜브 동영상 다운로드
0
1448
2
Atom 에디터 관련
0
337
1
위시켓 폼데이터
0
274
1
스케줄러 사용 관련 질문 드립니다
0
627
1
selenium 에러
0
428
1
Progress bar 쓰레드 관련
0
489
1
Install Package 관련 문의
0
328
1
tkinter 샘플 코드 실행 오류 건
0
1267
1
4-7-6 네이버 & 카카오 주식 정보 가져오기
0
381
1
네이버자동로그인_by_selenium
0
876
1
위시캣 로그인 처리 및 크롤링 질문
0
345
1
2-8-1 네이버이미지 크롤링 질문
1
604
3
li:nth-of-type 질문
0
350
2
에러가 뜨는데 잘 모르겠어요ㅠ
0
401
2
Install Packages 항목이 안보이는 이유가 뭘까요?
0
401
2
환경변수 Path 설정 방법
0
631
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런
0
333
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소
0
477
3
download2-8-1. py질문
0
203
1
ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??
0
645
1
인프런 환경이 바뀌어서 제나름대로 하는데
0
196
1
다시올려주신 예제파일로하는데
0
190
1
아직도 에러가뜨나보네요?
0
584
1