• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

크롤링에서 다시 크롤링 하기 질문있습니다.

20.08.24 22:49 작성 조회수 259

0

안녕하세요 열심히 수업듣고 있는 직장인입니다.

크롤링에서 다시 크롤링부분을 실전에서 연습을 해보고 싶어서 코드를 작성을 해보았는데요

잘안되어서 개인적인 부분이지만 질문을 드립니다.. 여러 시도를 해봤는데 안되네여 ㅠㅠ

import requests

from bs4 import BeautifulSoup

for num in range(1,2):

    res = requests.get("https://www.krcert.or.kr/data/secNoticeList.do?page="+str(num)+"&sort_code=&sort_code_name=&search_sort=title_name&search_word=")

    sop = BeautifulSoup(res.content,"html.parser")

    items = sop.select("tr")

    for item in items:

        columns = item.select('td')

        row_str=""

        for column in columns:

            #res1 =requests.get(column['href'])

            #soup1 = BeautifulSoup(res1.content,"html.parser")

            #lists1 = soup1.select_one("#contentDiv > table > tbody > tr > td > table > tbody > tr > td")

            row_str += ',' + column.get_text().strip()

        print(row_str[1:])

저 진한 부분 3줄의 'href' 부분을 크롤링 해서 데이터를 가져오고 싶은데... href 부분을 불러오는데 계속 실패를 하네여

위치를 바꾸고 다른방법을 써봐도 계속 오류만 나와서 그러는데 방법이 있을까여??

답변 1

답변을 작성해보세요.

0

안녕하세요. 본 질문/답변란은 수업에서 다룬 내용에 대해 질문/답변을 드리는 것이예요.

각자 원하시는 크롤링 코드를 작성하신 후, 저와 함께 코드를 작성하거나, 해당 코드에서 어떤 부분이 문제인지를 저와 함께 리뷰하는 것은 현실적으로 무리가 있습니다. 이 부분 꼭 양해를 부탁드립니다.

지금 말씀하신 부분이 어떤 문제인지 잘 모르겠지만, print(column['href']) 로 어떤 데이터가 들어있는지 먼저 출력해보시면 좋을 것 같습니다.

감사합니다.