게시글
질문&답변
2024.04.25
뉴스 페이지에 페이지 번호가 없는데 어떻게 가져오나요?
동적인 페이지 크롤링 방식으로 변경되었습니다. selenium을 사용하면 크롤링 할 수 있어요! 최근에 업로드한 영상인데 이걸 보고 학습하시는 것을 추천드립니다! https://youtu.be/Uf21RUo3KNc 5월 중에 인프런 강의도 업데이트 예정입니다~ 감사합니다
- 0
- 2
- 58
질문&답변
2024.04.25
네이버 쇼핑에 팝업창이 뜨기 시작했어요 도와주세요 ㅠㅠ
흠... 제가 테스트해보려고 했는데 더이상 팝업창이 안뜨네요 ㅜ
- 0
- 3
- 80
질문&답변
2024.04.25
뉴스기사 크롤링 css선택자 선정의 어려움......도와주세요....
이번에 네이버 연예 뉴스, 스포츠 뉴스도 기본 베이스가 동적페이지로 바뀌었네요 ㅜ 셀레니움을 사용해야 할거 같습니다. 동적페이지로 바뀌 었으니, 선택자를 아무리 잘 만들어도 크롤링이 안됩니다. 5월중에 실전편 업데이트 예정중에있으니 조금만 기다려 주시면 새로운 강의로 찾아 뵙겠습니다!
- 0
- 3
- 113
질문&답변
2024.04.16
셀레니움 실습 시 창이 자동 차단되면서 꺼집니다.
음... 네이버 창이 떴다가 곧 '주의 요함' 이라고 뜨는 Chrome 창으로 전환이 되어 버립니다. 이게 어떤 창일까요?? 스크린샷 찍어서 보여주시면 확인해 보겠습니다. 'Chrome이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다' 이거는 정상적인 메세지 입니다 ^^
- 0
- 2
- 71
질문&답변
2024.04.11
연예뉴스크롤링의 CSS연산자 적용 및 no attribute 'text' 해결 방법
코드가 들여쓰기 되어 있지 않아서 실행하기가 어렵네요 ㅜ AttributeError: 'NoneType' object has no attribute 'text'는 선택자가 올바르지 않아서 발생하는 오류입니다. HTML 구조에 맞는 선택자만 똑바로 만들면 문제를 쉽게 해결할 수 있습니다. 이번에 새로 리뉴얼한 크롤링 기초 강의인데 한번 보시면 HTML 구조와 선택자를 만드는데 많은 도움이 되실 겁니다 🙂 https://youtu.be/Uf21RUo3KNc
- 0
- 1
- 63
질문&답변
2024.04.11
이 다음 강의도 준비가 되어 있을까요??
안녕하세요! 수강생님, 잘 들어주셔서 진심으로 감사합니다. 현재 네이버 카페를 시스템을 새롭게 운영하면서 전체 강의를 리뉴얼하고 있습니다. 기초 강의는 지금 70% 완료 되었고, 실전편 리뉴얼 이후에, 심화편을 제작할 예정입니다. 심화편도 요청이 많이 들어오고 있어 빨리 만들고 드리고 싶지만, 순서상 제작까지는 다소 시간이 걸릴거 같네요 ㅜ 소식은 유튜브나 네이버 카페, 인프런 새소식등을 통해 알려 드리겠습니다. 감사합니다! 스타트코딩 교육 센터 https://cafe.naver.com/startcodingofficial
- 0
- 2
- 73
질문&답변
2024.04.08
낮은 가격순을 클릭하는 문을 추가하고싶습니다.
https://search.shopping.naver.com/search/all?adQuery=%EA%B3%BC%EC%9E%90&origQuery=%EA%B3%BC%EC%9E%90&pagingIndex=1&pagingSize=40&productSet=total&query=%EA%B3%BC%EC%9E%90&sort=price_asc×tamp=&viewType=list '낮은가격순'을 클릭하면 URL 이 변경되는데요 변경된 URL로 driver.get 명령을 수행하면 됩니다 🙂
- 0
- 2
- 88
질문&답변
2024.04.03
pip는 내부 또는 외부명령 ,실행할 수 있는 프로그램
파이썬 재설치 해보셨을까요?? 아래 영상을 따라서 재설치 해보시면 좋을거 같습니다! https://youtu.be/cZVOluN1rrc 현재 쓰고 계신 파이썬 버전도 조금 낮은거 같네요 ㅎㅎ
- 0
- 2
- 142
질문&답변
2024.04.03
이미지 수집이 28번 이후로 이미지가 안떠요
작성하신 코드를 보여주시겠어요??
- 0
- 1
- 66
질문&답변
2024.03.25
마지막 페이지 관련
저도 얼마전에 네이버 뉴스 페이지가 완전 바뀐 것을 보고 실전편을 리뉴얼 해야 겠다는 생각을 했습니다 🙂 수강생분이 똑똑하셔서 제대로 캐치하신 것 같아요 질문하신 내용 전부 맞습니다. 네이버 뉴스 기사가 페이지 넘버링이 아닌, 스크롤식으로 변경된 것으로 확인됩니다. 이러한 경우에는 마지막 기를 어떻게 확인할 수 있을까요? ( 굳이 마지막 페이지를 확인할 이유가 없을 것 같긴 하지만ㅎㅎ 그래도 궁금하네요 ) -> 무한 스크롤 처리 방식으로 구현 가능합니다 아래 유튜브 영상 5:55 을 참고해 보세요! https://youtu.be/qRU94vtUb7c 검색량이 많은 검색어의 경우 끝도없이 내려가네요. 검색어가 적은 걸로 마지막페이지를 테스트해보면 좋을 거 같습니다. ex) 미옹이 이전 강의에서 확인하였던, &start={i}을 추가하여 네이버 뉴스 기사 결과를 수집해본 결과, 계속해서 수집이 되긴 했습니다. 제 생각에는 연관도가 높은순 → 낮은순으로 출력되는 것 같은데 맞는지도 궁금하네용ㅎㅎ -> 신기하게도 네이버에서 기존 방식을 그대로 나뒀습니다 ㅋㅋ 기본 정렬방식이 관련도순으로 되어 있습니다. 관련도에 대한 정확한 알고리즘은 아무도 모릅니다. 그래서 순서는 항상 바뀔 수 있어요.
- 0
- 2
- 83