인프런 커뮤니티 질문&답변

5.4 영상보면 전일비는 숫자로만되어있네요

영상보면 전일비는 숫자로만되어있네요

제 코드는 아래와 같고 어떻게 상승,하락을 없애는지 모르겠습니다.

import requests

import bs4

import re

import time

total_data_list = [] # 추출하고자 하는 데이터 리스트를 모아놓을 곳

page_number = 1

pre_data_time_set = set() # 이전 페이지에서 추출한 데이터를 모아놓는 곳 cuz 중복되면 그만두게 하기 위해

while True: # 특정 조건이 만족하면 break로 루프 끝냄

# 페이지 번호를 포함한 url 생성 - {}.format을 사용해서 동적으로 사용

url2 = "https://finance.naver.com/item/sise_day.naver?code=453450&page={}".format(page_number)

# 해당 url로 요청

res2 = requests.get(url=url2, headers=headers2)

# 요청한 정보를 .text로 만든 뒤 파싱

soup3 = bs4.BeautifulSoup(res2.text, "lxml")

tr_eli = soup3.select("table.type2 > tr[onmouseover='mouseOver(this)']")

current_time_set = set() # 현재 페이지의 날짜 데이터를 저장할 set

for a in tr_eli: # tr_eli라는 ResultSet에서 하나씩 추출

td_eli = a.select("td") # a.select("td") = 위에서 추출한 것에서 'td' 태그를 포함한 것을 추츨하고 ResultSet으로 반환

# a는 태그지만 td_eli는 ResultSet이다 :

data_list = [] # 추출한 데이터를 담을 리스트

for i, td_real2 in enumerate(td_eli): # 추출한 ResultSet(열)들과 인덱스를 같이 순회

clean_data = re.sub(r'\s+', " ", td_real2.text.replace(",","")) # 숫자가 아닌 모든 문자를 제거

if clean_data == " ":

break

if i == 0: # 첫 번째 인덱스는 무조건 날짜임

current_time_set.add(clean_data)

data_list.append(clean_data)

if len(data_list) > 0: # data_list가 빈칸이 아닐경우에 total에다가 추가

total_data_list.append(data_list)

else: # eliment를 가져오는거 자체를 그만두게 하는 것

break

# 이전에 수집한 날짜와 현재 페이지의 날짜가 동일하면 루프 중단

if pre_data_time_set == current_time_set:

print("끝났다", page_number)

break

else:

pre_data_time_set = current_time_set # 현재 페이지의 날짜로 업데이트

time.sleep(3) # or random.random() * 2

page_number += 1 # 페이지 번호를 1씩 증가

# 결과 출력

for data in total_data_list: # total_data_list는 리스트 형식이라 리스트안에 리스트를 빼내는 작업하는 것

print(data)

# 중복되는 내용 없애는거는 나중에 DataFrame 사용하면 편한데 로직내에서도 가능하긴 하다.