여러 사이트에서 한번에 크롤링

미해결질문
Tony Shin 프로필

안녕하세요 선생님,

site_list =[ 'A사이트' , 'B사이트' ] 같이 여러 웹페이지를 한번에 불러오는 법을 가르쳐 주셧는데요, 문득 든 궁금점이 추가한 각각의 홈페이지에서 추출하려는 데이터가 각기 다른  CSS select 구문을 필요로 하면 어떻게 해야하는건가요? 

일단 data = soup.select ('#productListArea > ul > li > p >a' , '#main > div > section > div > div') 이런식으로 콤마 뒤에 추가해보았는데 적용이 되지 않습니다. 

질문이 정확하지 않은 것 같아 말씀드리자면 제가 시도했던 것은  A 일보 헤드라인, B 일보 헤드라인, C 일보  헤드라인을 추출해서 한번에 보여주는 기능을 만드는 것이었습니다.

감사합니다. 

잔재미코딩 프로필
잔재미코딩 28일 전

안녕하세요.

각 사이트별로, request 를 하고, 파싱하고, select() 를 하셔야 해요.

for site in site_list:

    request

    파싱

    data = select()

와 같은 형태로 각 사이트별로 진행하셔야 합니다. 추출된 data 는 별도 리스트 변수에 append() 로 넣어주셔야 하고요. 이 부분은 난이도가 있는 부분이기 때문에, 이 정도 설명으로 아직은 부족하다면, 전과 같이 각 사이트별로 코드를 실행하고 각 결과를 별도 리스트 변수에 append() 하시는 것이 더 좋을 것 같습니다.

감사합니다.

Tony Shin 프로필
Tony Shin 27일 전

감사합니다 선생님! 말씀해주신대로 한번 해보겠습니다!

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스