크롤링에서 다시 크롤링 하기 질문있습니다.
374
작성한 질문수 1
안녕하세요 열심히 수업듣고 있는 직장인입니다.
크롤링에서 다시 크롤링부분을 실전에서 연습을 해보고 싶어서 코드를 작성을 해보았는데요
잘안되어서 개인적인 부분이지만 질문을 드립니다.. 여러 시도를 해봤는데 안되네여 ㅠㅠ
import requests
from bs4 import BeautifulSoup
for num in range(1,2):
res = requests.get("https://www.krcert.or.kr/data/secNoticeList.do?page="+str(num)+"&sort_code=&sort_code_name=&search_sort=title_name&search_word=")
sop = BeautifulSoup(res.content,"html.parser")
items = sop.select("tr")
for item in items:
columns = item.select('td')
row_str=""
for column in columns:
#res1 =requests.get(column['href'])
#soup1 = BeautifulSoup(res1.content,"html.parser")
#lists1 = soup1.select_one("#contentDiv > table > tbody > tr > td > table > tbody > tr > td")
row_str += ',' + column.get_text().strip()
print(row_str[1:])
저 진한 부분 3줄의 'href' 부분을 크롤링 해서 데이터를 가져오고 싶은데... href 부분을 불러오는데 계속 실패를 하네여
위치를 바꾸고 다른방법을 써봐도 계속 오류만 나와서 그러는데 방법이 있을까여??
답변 1
0
안녕하세요. 본 질문/답변란은 수업에서 다룬 내용에 대해 질문/답변을 드리는 것이예요.
각자 원하시는 크롤링 코드를 작성하신 후, 저와 함께 코드를 작성하거나, 해당 코드에서 어떤 부분이 문제인지를 저와 함께 리뷰하는 것은 현실적으로 무리가 있습니다. 이 부분 꼭 양해를 부탁드립니다.
지금 말씀하신 부분이 어떤 문제인지 잘 모르겠지만, print(column['href']) 로 어떤 데이터가 들어있는지 먼저 출력해보시면 좋을 것 같습니다.
감사합니다.
크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요
0
33
1
정규표현식 및 여러 코드 꼭 외워야 하나요?
0
39
1
리스트 함수형도 정수 데이터 받을 수 있나요?
0
45
1
크롤링 관련 질문
0
63
1
문제 답이 없는 버전은 없나요?
0
74
1
requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.
0
83
1
업데이트 강의
0
97
2
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
0
123
2
연습용 예제 파일
0
76
1
lxml 관련 오류
0
106
1
SAVE Request 창 띄우는 법
0
92
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2
0
75
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.
0
96
1
예제 2, 4, 6에 대한 풀이 방식 질문.
0
89
1
문제 파일
0
78
1
pdf 파일 내 코드 복붙시 공백
0
291
1
데이터 저장 강좌 문의 건
0
95
1
" " 와 ' '의 차이를 알고 싶습니다
0
242
1
Exercise 22. 문자열 다루기 (strip)
0
132
1
list함수로 리스트 선언하면 실패하는데 이유는 무엇입니까?
0
187
1
셀 삽입후 바로 기입이 가능합니까?
0
139
2
주피터 노트북 마우스 스크롤? 오류
0
1549
2
등호 2개('==')의 의미가 뭐죠?
0
459
2
페이지가 넘어갈 때 url 변하지 않는 경우
0
266
1





