인프런 커뮤니티 질문&답변
작성한 질문수
여러 사이트에서 한번에 크롤링
작성
·
845
0
안녕하세요 선생님,
site_list =[ 'A사이트' , 'B사이트' ] 같이 여러 웹페이지를 한번에 불러오는 법을 가르쳐 주셧는데요, 문득 든 궁금점이 추가한 각각의 홈페이지에서 추출하려는 데이터가 각기 다른 CSS select 구문을 필요로 하면 어떻게 해야하는건가요?
일단 data = soup.select ('#productListArea > ul > li > p >a' , '#main > div > section > div > div') 이런식으로 콤마 뒤에 추가해보았는데 적용이 되지 않습니다.
질문이 정확하지 않은 것 같아 말씀드리자면 제가 시도했던 것은 A 일보 헤드라인, B 일보 헤드라인, C 일보 헤드라인을 추출해서 한번에 보여주는 기능을 만드는 것이었습니다.
감사합니다.
답변 2
0
0
잔재미코딩 DaveLee
지식공유자
안녕하세요.
각 사이트별로, request 를 하고, 파싱하고, select() 를 하셔야 해요.
for site in site_list:
request
파싱
data = select()
와 같은 형태로 각 사이트별로 진행하셔야 합니다. 추출된 data 는 별도 리스트 변수에 append() 로 넣어주셔야 하고요. 이 부분은 난이도가 있는 부분이기 때문에, 이 정도 설명으로 아직은 부족하다면, 전과 같이 각 사이트별로 코드를 실행하고 각 결과를 별도 리스트 변수에 append() 하시는 것이 더 좋을 것 같습니다.
감사합니다.