여러 사이트에서 한번에 크롤링
933
작성한 질문수 1
안녕하세요 선생님,
site_list =[ 'A사이트' , 'B사이트' ] 같이 여러 웹페이지를 한번에 불러오는 법을 가르쳐 주셧는데요, 문득 든 궁금점이 추가한 각각의 홈페이지에서 추출하려는 데이터가 각기 다른 CSS select 구문을 필요로 하면 어떻게 해야하는건가요?
일단 data = soup.select ('#productListArea > ul > li > p >a' , '#main > div > section > div > div') 이런식으로 콤마 뒤에 추가해보았는데 적용이 되지 않습니다.
질문이 정확하지 않은 것 같아 말씀드리자면 제가 시도했던 것은 A 일보 헤드라인, B 일보 헤드라인, C 일보 헤드라인을 추출해서 한번에 보여주는 기능을 만드는 것이었습니다.
감사합니다.
답변 2
0
안녕하세요.
각 사이트별로, request 를 하고, 파싱하고, select() 를 하셔야 해요.
for site in site_list:
request
파싱
data = select()
와 같은 형태로 각 사이트별로 진행하셔야 합니다. 추출된 data 는 별도 리스트 변수에 append() 로 넣어주셔야 하고요. 이 부분은 난이도가 있는 부분이기 때문에, 이 정도 설명으로 아직은 부족하다면, 전과 같이 각 사이트별로 코드를 실행하고 각 결과를 별도 리스트 변수에 append() 하시는 것이 더 좋을 것 같습니다.
감사합니다.
크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요
0
33
1
정규표현식 및 여러 코드 꼭 외워야 하나요?
0
39
1
리스트 함수형도 정수 데이터 받을 수 있나요?
0
45
1
크롤링 관련 질문
0
63
1
문제 답이 없는 버전은 없나요?
0
74
1
requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.
0
83
1
업데이트 강의
0
97
2
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
0
123
2
연습용 예제 파일
0
76
1
lxml 관련 오류
0
106
1
SAVE Request 창 띄우는 법
0
92
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2
0
75
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.
0
95
1
예제 2, 4, 6에 대한 풀이 방식 질문.
0
89
1
문제 파일
0
78
1
pdf 파일 내 코드 복붙시 공백
0
291
1
데이터 저장 강좌 문의 건
0
95
1
" " 와 ' '의 차이를 알고 싶습니다
0
242
1
Exercise 22. 문자열 다루기 (strip)
0
132
1
list함수로 리스트 선언하면 실패하는데 이유는 무엇입니까?
0
187
1
셀 삽입후 바로 기입이 가능합니까?
0
139
2
주피터 노트북 마우스 스크롤? 오류
0
1547
2
등호 2개('==')의 의미가 뭐죠?
0
459
2
페이지가 넘어갈 때 url 변하지 않는 경우
0
266
1